国内已知最大规模！消息称字节跳动正讨论训练超 5 万亿参数模型

弈剑のㄨ听雨阁

IT之家 8 月 6 日消息，晚点 LatePost 今天（6 日）晚间爆料称，字节跳动正在讨论训练一个 参数规模超 5 万亿的模型 ，超过阿里的 Qwen 3.8-Max（2.4 万亿参数）和月之暗面的 K3（2.8 万亿参数），也是目前 国内已知参数规模最大 的模型。

通常而言，模型规模越大，智能水平往往越高，不过该计划仍处于早期阶段。

消息称该模型将由 Seed Foundation 负责人项亮主导，与大语言模型预训练数据负责人沈科合作。二人均是字节跳动 AI 及大模型研发体系内的核心骨干，并出自字节的“搜广推”体系。

项亮本科毕业于中国科学技术大学，博士就读于中国科学院自动化研究所，2016 年加入字节，曾负责机器学习中台 AML 团队，后调任豆包大模型 Foundation 团队任负责人。

沈科 2018 年清华毕业，同年加入字节，现主要负责 LLM 预训练数据。

IT之家从报道中获悉，多名字节跳动人士透露，上半年多个 Seed 团队已开始不断反思，而这也是字节讨论训练超 5 万亿参数模型的原因之一。

其中一人直言，把参数规模 一次推到同行的数倍 来争取领先位置的举措“像一场赌博”。

两周前的 Seed 全员会上，字节跳动创始人张一鸣安抚了 Seed 的成员。

他认为，训大模型本就是一件很难的事，团队不必过度焦虑。

他明确一段时间内可接受模型落后于行业，希望大家以追求智能上限为目标，期待 Seed 模型能力能跻身世界第一梯队。

张一鸣认为编程是当前的关键方向，并表态自己反对蒸馏。

在其看来，蒸馏能在短期内改善模型表现，但本质上仍是在复制 Claude 已有的能力。

沿着这条路走，最多只能不断逼近对方，很难真正实现超越。

[来源链接] https://www.ithome.com/0/986/739.htm