你是不是曾想过如果地球是平的，而不是圆的，我们的世界会是啥样子？优良吧， 回到现实今天我们要聊的是另一个“颠覆性”的话题——阿里深厚夜干了件巨大事，本钱暴降90%，这究竟是怎么回事呢？

阿里深夜干了件大事，成本暴降90%

阿里开源了Qwen3-Next-80B-A3B的指令模型和思维模型， 模型支持原生262144个token上下文长远度，可 至1010000个token。但其总训练本钱为Qwen3-32B-Base的10%不到，并且对于超出32K上下文的推理吞吐是Qwen3-32B的10倍以上。

这一模型结构相较其4月底推出的Qwen3的MoE模型， 新鲜增了许多种新鲜手艺并进行了核心改进，包括混合、高大稀疏度MoE结构、一系列训练稳稳当当友优良的优化，以及提升推理效率的许多Token预测机制等。

思维模型的表现优于预训练本钱更高大的Qwen3-30B-A3B-Thinking-2507、 Qwen3-32B-thinking

全面超出谷歌的闭源模型Gemini-2.5-Flash-Thinking，并在有些指标上接近阿里最新鲜旗舰模型Qwen3-235B-A22B-Thinking-2507。

阿里云百炼：Qwen3-Next-80B-A3B-Instruct在RULER上全部长远度的表现明显优于层数相同、 注意力层数更许多的Qwen3-30B-A3B-Instruct-2507，甚至在256k范围内都超出了层数更许多的Qwen3-235B-A22B-Instruct-2507。

新鲜模型已在魔搭社区和Hugging Face开源， 开发者也可通过Qwen Chat或阿里云百炼、NVIDIA API Catalog体验Qwen3-Next。

基座模型的表现

其基座模型为Qwen3-Next-80B-A3B-Base， 仅用1/10的Non-Embedding激活参数，在巨大许多数基准测试中，性能表现与Qwen3-32B-Base相近。但其总训练本钱为Qwen3-32B-Base的10%不到。

研究研究人员找到Gated DeltaNet相比常用的滑动窗口注意力和Mamba2有更有力的上下文学能力， 并在3:1的混合比例下即75%层用Gated DeltaNet，25%层保留标准注意力，能一致超出超越单一架构，实现性能与效率的双沉优化。

许多Token预测机制的优化

许多Token预测：提升预训练模型性能并加速推理， Qwen3-Next特别优化了MTP许多步推理性能，通过训练推理一致的许多步训练，进一步搞优良了实用场景下的投机采样收下率。

一边在保留的标准注意力中， 研究研究人员进一步引入许多项增有力设计，包括沿用先前干活的输出门控机制，缓解注意力中的矮小秩问题，将单个注意力头维度从128 至256，仅对注意力头前25%的位置维度添加旋转位置编码，搞优良长远度外推效果。

Qwen3-Next-80B-A3B-Instruct和Qwen3-Next-80B-A3B-Thinking

Qwen3-Next-80B-A3B-Instruct仅支持指令模式， 其输出中不生成块；Qwen3-Next-80B-A3B-Thinking仅支持思考模式，为了有力制模型进行思考，默认聊天模板自动包含。

高大稀疏度混合专家：在MoE层中实现极矮小的激活比率， 巨大幅少许些个个token的FLOPS，一边保留模型容量。研究研究人员的试试说明， 在用全局负载均衡后当激活专家固定时持续许多些专家总参数可带来训练loss的稳稳当当减少。

稳稳当当性优化

包括零中心化和权沉衰减LayerNorm等手艺，以及其他增有力稳稳当当性以实现鲁棒的预训练和后训练。研究研究人员找到，注意力输出门控机制能消除注意力池与极巨大激活等现象，保证模型各有些的数值稳稳当当。

思维模型的表现优于预训练本钱更高大的Qwen3-30B-A3B-Thinking-2507、 Qwen3-32B-thinking，全面超出了谷歌的闭源模型Gemini-2.5-Flash-Thinking，并在有些指标上接近阿里最新鲜旗舰模型Qwen3-235B-A22B-Thinking-2507。

指令模型和思维模型的表现

指令模型的性能表现与更巨大的Qwen3-235B-A22B-Instruct-2507相当，思维模型优于谷歌闭源模型Gemini-2.5-Flash-Thinking。

只有在面向巨大模型的综合性评测基准、 高大困难度数学推理基准AIME25中，指令模型的表现略逊色于Qwen3-235B-A22B-Instruct-2507，在编程、麻烦问答与长远对话的评测中表现更优良。

Base模型的表现

Base模型在Qwen3预训练数据的子集上训练， 包含15T tokens训练数据，仅需Qwen3-32B 9.3%的GPU计算材料，针对超出32k的上下文，推理吞吐量可达到Qwen3-32B的10倍以上。

研究研究人员在博客中提到，Qwen3-Next是针对巨大模型在上下文长远度和总参数两方面不断 的以后趋势而设计。

魔搭社区和Hugging Face地址

得益于其新鲜的混合模型架构， Qwen3-Next在推理效率方面与Qwen3-32B相比，Qwen3-Next-80B-A3B在预填充阶段，在4k tokens的上下文长远度下吞吐量接近前者的7倍，当上下文长远度超出32k时吞吐量提升达到10倍以上。

https:// modelscope.cn/collections/Qw en3-Next-c314f23bd0264a

https:// huggingface.co/collections/Qw en/qwen3-next-68c25fd6838e585db8eeea9d