首页热门报告电子行业简评报告:COD强化大模型不可能三角 加速端侧应用落地

电子行业简评报告:COD强化大模型不可能三角 加速端侧应用落地

时间2025-03-29 11:44:36浏览7

电子行业简评报告:COD强化大模型不可能三角 加速端侧应用落地

思维链CoT: 拆解复杂问题,形成详细的中间推理步骤。2022 年 1月的论文《Chain-of-Thought Prompting Elicits Reasoning in LargeLanguage Models》中提出思维链的概念。大模型通过强调详细、逐步的推理过程的思维链(Chain-of-Thought, CoT)提示机制,在解决复杂推理任务中展现了较好的性能。
草稿链CoD:简化中间推理步骤,减少token 使用量和推理延迟。2025年3 月的论文《Chain of Draft: Thinking Faster by Writing Less》中提出了不同于思维链(CoT)的草稿链(CoD),草稿链CoD 鼓励大模型在每个步骤生成简洁、信息密集的输出,而不是过度强调中间步骤。简单来说,思维链CoT 鼓励大模型尽可能详细地展示推理过程,而草稿链CoD 要求大模型尽可能简洁地表达关键信息。
CoD 在准确性上与CoT 相当甚至超越,同时仅使用7.6%的token,显著降低了各种推理任务的成本和延迟。CoD 在数学推理(GSM8K数据集)、常识推理(日期/体育理解任务)和符号推理(抛硬币预测)等任务中,通过减少冗余步骤并聚焦于关键信息,CoD 在准确性上达到甚至超越了CoT,同时仅使用了7.6%的token,显著降低了各类推理任务的成本和延迟。
大模型不可能三角。根据GPT-4 与DeepSeek-R1 对比、《Chain of Draft:Thinking Faster by Writing Less》中思维链与草稿链的数据对比,再结合阿里云发布的《GenAI 技术落地白皮书》中的“大模型不可能三角”:
成本、效果、性能,我们认为发展大模型不只有一条路径。DeepSeek-R1 是在牺牲推理精度的情况下,以低成本(较少GPU 算力)的方式提升了推理速度(性能)。GPT-4 在高成本、低速度(性能)的情况下实现了高精度(效果)。同理,草稿链也是在牺牲精度(效果)的情况下,以低成本(较少token)的方式提升了推理速度(性能)。
在高端算力芯片受限的情况下,端侧推理应用也可以获得大发展。调整速度、成本、精度的权重,来匹配不同的应用场景。在拥有高端算力芯片的条件下,例如英伟达B200 等芯片,面向医疗、金融等深度应用高端市场,可以通过牺牲速度和成本获得高精度高性能。在高端算力芯片受限的条件下,可利用算力较低的端侧算力芯片,例如瑞芯微3588 芯片,在面向智能客服、机器人等端侧应用领域,优化后的大模型在精度可接受的范围内,可以实现低成本和高速度。DeepSeek 和CoD,证明了在高端算力芯片受限的情况下,基于非高端算力芯片的端侧推理应用也可以获得大发展。
投资建议。从芯片角度,建议关注高端算力芯片和较低算力的端侧芯片。从应用角度,建议关注搭载算力芯片和加载AI 大模型的推理智能终端。
风险提示。算力芯片需求不及预期。

汽车行业月度销量和折扣追踪系列6:供需两端共振回暖 折扣率基本稳定 三生国健(688336):核心上市产品销售额稳健增长 在研管线持续发力