凯发K8官方网站复旦大学副教授郑骁庆谈DeepSeek：AI行业不只有“规模法则
凯发k8国际手机◈✿。晶片产业◈✿！凯发K8真人凯发K8旗舰厅◈✿！近日◈✿，中国AI初创公司深度求索（DeepSeek）在全球掀起波澜◈✿，硅谷巨头恐慌◈✿，华尔街焦虑◈✿。
短短一个月内◈✿，DeepSeek-V3和DeepSeek-R1两款大模型相继推出◈✿，其成本与动辄数亿甚至上百亿美元的国外大模型项目相比堪称低廉◈✿，而性能与国外顶尖模型相当◈✿。
作为“AI界的拼多多”◈✿，DeepSeek还动摇了英伟达的“算力信仰”◈✿，旗下模型DeepSeek-V3仅使用2048块英伟达H800 GPU◈✿，在短短两个月内训练完成◈✿。除了性价比超高◈✿，DeepSeek得到如此高的关注度◈✿，还有另一个原因——开源◈✿。DeepSeek彻底打破了以往大型语言模型被少数公司垄断的局面◈✿。
被誉为“深度学习三巨头”之一的杨立昆（Yann LeCun）在社交平台X上表示◈✿，这不是中国追赶美国的问题凯发K8官方网站◈✿，而是开源追赶闭源的问题◈✿。OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）则罕见地表态称◈✿，OpenAI在开源AI软件方面“一直站在历史的错误一边”◈✿。
DeepSeek具有哪些创新之处？DeepSeek的开源策略对行业有何影响？算力与硬件的主导地位是否会逐渐被削弱？
针对上述疑问◈✿，《每日经济新闻》记者（以下简称NBD）专访了复旦大学计算机学院副教授◈✿、博士生导师郑骁庆◈✿。他认为◈✿，DeepSeek在工程优化方面取得了显著成果◈✿，特别是在降低训练和推理成本方面◈✿。“在业界存在着两个法则◈✿，一个是规模法则（Scaling Law）◈✿，另外一个法则是指◈✿，随着技术的不断发展◈✿，在既有技术基础上持续改进◈✿，能够大幅降低成本◈✿。”
对于DeepSeek选择的开源策略◈✿，郑骁庆指出◈✿，“开源模型能够吸引全世界顶尖人才进行优化◈✿，对模型的更新和迭代有加速作用◈✿。”此外◈✿，开源模型的透明性有助于消除使用安全的顾虑◈✿，促进全球范围内人工智能技术的公平应用◈✿。
尽管DeepSeek的模型降低了算力需求◈✿，但郑骁庆强调凯发K8官方网站◈✿，AI模型仍需要一定的硬件基础来支持大规模训练和推理◈✿。此外◈✿，大规模数据中心和预训练仍是AI发展的重要组成部分◈✿，但未来可能会更注重高质量数据的微调和强化学习◈✿。
NBD◈✿：微软CEO萨提亚·纳德拉在微软2024年第四季度财报电话会上提到◈✿，DeepSeek“有一些真正的创新”◈✿。在您看来◈✿，DeepSeek有哪些创新点呢？
郑骁庆◈✿：在深入研读DeepSeek的技术报告后◈✿，我们发现◈✿，DeepSeek在降低模型训练和推理成本方面采用的方法◈✿，大多基于业界已有的技术探索◈✿。比如◈✿，键值缓存（Key-Value cache）管理◈✿，对缓存数据进行压缩◈✿。另一个是混合专家模型（MoE◈✿，Mixture of Experts）◈✿，实际上是指◈✿，在推理的时候◈✿，只需使用模型的某一个特定的模块◈✿，而不需要所有模型的网络结构和参数都参与这个推理过程◈✿。
此外◈✿，Deepseek还采用了FP8混合精度训练的技术手段◈✿。这些其实之前都有所探索◈✿，而DeepSeek的创新之处就在于◈✿，很好地将这些能够降低技术和推理成本的技术整合起来◈✿。
NBD◈✿：您认为DeepSeek现阶段的技术水平上是否已经接近或者达到了全球领先水平呢？
郑骁庆◈✿：DeepSeek目前在现有技术基础上◈✿，包括网络结构训练算法方面◈✿，实现了一种阶段性的改进◈✿，并非是一种本质上的颠覆性创新◈✿，这一点是比较明确的◈✿。其改进主要是针对特定任务◈✿，例如◈✿，DeepSeek在数学◈✿、代码处理以及推理任务等方面◈✿，提出了一种在性能与成本上相对平衡的解决方案◈✿。然而◈✿，它在开放领域（open domain）上的表现◈✿，优势并不是十分明显◈✿。
在业界存在着两个法则◈✿，一个是规模法则（Scaling Law）◈✿，即模型的参数规模越大◈✿、训练数据越多◈✿，模型就会更好◈✿。另外一个法则是指◈✿，随着技术的不断发展◈✿，在既有技术基础上持续改进◈✿，能够大幅降低成本同方知网软件◈✿。
比如说◈✿，以GPT-3为例◈✿，早期它的成本就很高◈✿。但随着研究的深入◈✿，研究人员逐渐清楚哪些东西是工作的◈✿，哪些东西是不工作的◈✿。研究人员基于过往的成功经验◈✿，研究目标会逐渐清晰◈✿，成本实际上也会随之降低◈✿。
DeepSeek的成功同方知网软件◈✿，我更觉得可能是工程优化上的成功◈✿。当然也非常高兴看到中国的科技企业在大模型的时代◈✿，在性能与成本的平衡方面取得了显著进展◈✿，不断推动大模型的使用和训练成本下降◈✿。符合刚才我提到的第二个法则的情况之下◈✿，走到世界前列◈✿。
NBD◈✿：DeepSeek旗下模型的最大亮点之一是在训练和推理过程中显著降低了算力需求◈✿。您认为这种低成本大效能的技术创新◈✿，长期来看◈✿，会对英伟达等芯片公司产生什么影响呢？
首先◈✿，像DeepSeek或者类似的公司◈✿，在寻找有效的整合解决方案时◈✿，需要进行大量的前期研究与消融实验◈✿。所谓的消融实验◈✿，即指通过一系列测试来确定哪个方案是有效的以及哪些方案的整合是有效的◈✿。而这些测试就非常依赖于芯片◈✿，因为芯片越多◈✿，迭代次数就越多◈✿，就越容易知道哪个东西工作或者哪个东西不工作◈✿。
比如说◈✿，DeepSeek的训练预算不到600万美元◈✿。它的技术报告中提到◈✿，不到600万美元的资金◈✿，是按照GPU的小时数（每小时两美元）来估算的◈✿。也就是说◈✿，他们基于之前的很多研究◈✿，把整条训练流程都已经搞清楚的情况之下（哪些是工作◈✿，哪些不工作的）◈✿，重新走一遍◈✿。它的GPU的运算速度是多少◈✿，运算小时数是多少◈✿，然后再乘以每小时两美元得到的这个结果◈✿。报告中也提到了◈✿，600万美元其实没有包含先期研究成本凯发K8官方网站◈✿，比如◈✿，在结构上的探索◈✿、在算法上的探索◈✿、在数据上采收集上的探索的成本◈✿，也没有涵盖消融实验的开销以及设备的折旧费◈✿。所以◈✿，我个人判断◈✿，对英伟达其实影响不是那么大◈✿。
另外◈✿，DeepSeek的研究表明◈✿，很多中小企业都能用得起这样的大模型◈✿。尽管训练成本的下降可能会暂时减少对GPU的需求◈✿，但大模型变得更加经济◈✿，会使原本因为模型成本太高而不打算使用大模型的企业◈✿，加入到使用模型的行列◈✿，反而会增加对于芯片的需求◈✿。
NBD◈✿：随着DeepSeek-V3◈✿、R1等低成本大模型的问世◈✿，传统的大规模数据中心和高投入的大模型训练是否仍然值得继续推进呢？
郑骁庆◈✿：我觉得仍然值得◈✿。因为首先DeepSeek模型是语言模型◈✿，还没有扩展到多模态◈✿，甚至于我们以后要研究世界模型◈✿。那么一旦引入多模态之后◈✿，对算力的要求和基础设施要求就会成指数的增长同方知网软件◈✿。因为人工智能不可能仅仅局限于语言体本身◈✿，语言只是智慧的一种表现◈✿，而在这方面的探索仍然需要这样的一个基础设施◈✿。
刚才也提到DeepSeek其实是在很多先期研究的基础之上◈✿，找到了一条性能和成本平衡的一个解决方案◈✿。先期研究包括各种各样的尝试◈✿，怎样去加速它呢？这个还是需要强大的硬件支持◈✿。否则◈✿，每迭代一次◈✿，就可能需要长达一年多的时间◈✿，这显然是无法赶上现在AI军备竞赛的◈✿。而如果有几万张卡◈✿，迭代可能几天就完成了◈✿。
另外就是应用方面◈✿。即便是模型的推理成本再低◈✿，当需要支持数千◈✿、数万甚至更大规模的并发使用时◈✿，仍然需要一个配备大量显卡的强大基础架构来确保稳定运行凯发K8官方网站◈✿。
我觉得大规模预训练这一波潮流可能会弱化◈✿，可能不会成为下一步大家争夺的主战场◈✿。之前这个领域曾是竞争激烈的战场◈✿，但现在看来◈✿，成本和产出之间的比例正逐渐趋于紧缩◈✿。但是后面两步——高质量数据的微调和基于强化学习的人类偏好对齐◈✿，我相信未来会有更多的投入◈✿。
NBD◈✿：DeepSeek采用开源模式◈✿，与许多国外大模型巨头闭源的做法不同◈✿。您怎么看开源模型在推动AI行业发展中的作用？
郑骁庆◈✿：DeepSeek目前受到了广泛地关注和认可◈✿。从开源模型与闭源模型的角度来看◈✿，我们观察到◈✿，开源模型在积累了以往研究成果的基础上◈✿，在目标明确的情况之下◈✿，借助于各种训练技巧以及模型结构上的优化◈✿，特别是吸收先前研究者在大模型领域已验证有效的原理和方法◈✿，开源模型已能够大致追上闭源模型◈✿。
开源模型最大的好处就在于◈✿，一旦模型开源◈✿，全球的顶尖人才都能基于这些代码进行进一步的迭代与优化◈✿，这无疑加速了这个模型的更新与发展进程◈✿。相比之下◈✿，闭源模型肯定是没有这样的能力的◈✿，只能靠拥有这个闭源模型所属机构的内部人才去推动模型的迭代◈✿，迭代速度相对受限◈✿。
另外◈✿，开源模型透明开放◈✿，也缓解了公众对于大模型使用安全的一些顾虑◈✿。如果模型闭源◈✿，大家在使用过程当中可能或多或少会有一些顾虑◈✿。而且开源模型对于人工智能的普及以及全球范围内的公平应用起到了非常好的促进作用◈✿，特别是技术平权方面◈✿。也就是说◈✿，当一项科学技术发展起来以后◈✿，全世界的人◈✿，不管来自哪个国家◈✿、身处何地◈✿，都应用享有平等地享受这种技术所带来的优势及其产生的经济效益◈✿。
NBD◈✿：DeepSeek团队成员多为国内顶尖高校的应届毕业生◈✿、在校博士生凯发K8官方网站◈✿。您认为中国AI是否存在独特的竞争优势？
郑骁庆◈✿：我觉得我们的AI上面的竞争优势◈✿，其实是我们的人才数量上的优势◈✿。这几年◈✿，从我个人来看◈✿，我们的高等教育◈✿，包括硕士◈✿、博士的培养同方知网软件◈✿，有了长足进步◈✿。现在从中国的头部高校来看◈✿，对博士生◈✿、硕士生的培养已经比较接近于美国◈✿。
在这样的情况之下◈✿，我们的基础高等教育质量的提升◈✿，使得我们储备了大量的人才◈✿。在这样的过程当中同方知网软件◈✿，我们能够对现有的技术进行迅速的消化◈✿。
实际上◈✿，美国许多大模型研究团队◈✿，不乏有华人的身影◈✿。大家开玩笑说◈✿，现在的人工智能竞争是在中国的中国人和在美国的中国人竞争◈✿。要说劣势◈✿，其实我觉得还是很遗憾的◈✿，那就是我们很少能有颠覆性的创新◈✿。
