字节首次开源推理模型，连夺7项第一

抖音快讯 2025年08月21日 15:17 1 admin

智东西

作者 | 陈骏达

编辑 | 心缘

智东西8月21日报道，今天，字节跳动Seed团队开源了Seed-OSS系列模型，这些模型专为长上下文、推理、Agent和通用场景设计，将上下文窗口扩展至512k，是业界常见上下文窗口（128k）的4倍，GPT-5上下文窗口的2倍，相当于1600页文本。

Seed-OSS系列模型是推理模型，专门针对推理任务进行了优化，还允许用户灵活地控制思维预算。

字节Seed团队共开源了Seed-OSS的三个版本，分别为：

（1）基础模型Seed-OSS-36B-Base

（2）无合成数据基础模型Seed-OSS-36B-Base-woSyn

（3）指令微调模型Seed-OSS-36B-Instruct

指令微调后的Seed-OSS-36B-Instruct在通用知识、Agent、编程、长上下文等领域的基准测试中，取得同量级开源模型中的7项SOTA（性能最佳）表现，整体能力超过了Qwen3-32B、Gemma3-27B、gpt-oss-20B等模型，与Qwen3-30B-A3B-Thinking-2507在大部分领域旗鼓相当。

基准测试结果，加粗项为开源SOTA（图源：Hugging Face）

Seed-OSS系列模型采用了宽松的Apache2.0开源协议，并会在后续发布模型的详细技术报告。

开源地址：

https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Base

https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct

值得一提的是，字节Seed团队本次的发布方式较为“研究友好”。鉴于在预训练中包含合成指令数据可能会影响后训练研究，无合成数据基础模型的发布，为研究社区提供了更多样化的选择。这一系列模型还支持4位和8位格式的量化，以减少内存需求。

Seed-OSS系列模型使用了12万亿个token的预训练数据，采用当前主流的因果语言模型架构，也就是“预测下一个token”类型的模型。同时，Seed-OSS系列均为稠密模型，没有采用MoE等架构。

这一系列模型结合了几项关键技术，包括RoPE（旋转位置编码）、GQA注意力机制（Grouped Query Attention）、RMSNorm归一化（Root Mean Square Normalization）、SwiGLU激活函数等。这是现代大模型常见的高效组件组合，可提升训练稳定性和推理性能。

Seed-OSS的上下文窗口达512k，相当于能一次性处理数十万字的内容。这一上下文窗口并非后续扩展而来，而是通过原生训练打造的。

思考预算功能可帮助开发者控制模型推理成本，优化使用体验等。字节Seed团队分享了Seed-OSS在不同思考预算下性能的变化情况。

对于更简单的任务（如IFEval），模型的思维链较短，随着思维预算的增加，分数波动并不明显。对于更具挑战性的任务（如AIME和LiveCodeBench），模型的思维链更长，随着思维预算的增加，分数也会提高。