AI芯片今后走向：从上海峰会洞察行业趋势

一、 端侧较大模型推理的挑战与机遇

较深圳迈特芯科学研究技术手段芯片产品经理李凯博士在上海峰会中提到，端侧较大模型推理面临“三座较大山”：功耗、算力与投入成本的“不有可能三角”，内存墙约束，以及通用方案与专用芯片之间的场景适配不容简单题。只是等技术手段，这一些挑战有望得到。

二、 云端推理芯片与模型驱动芯片设计

九天睿芯云端推理芯片能够较高效支持FFN阶段的计算，并可方案。王中风团队则通过视觉Mamba较高效加速器、 超较低BitLLM推理加速器、更多层次稀疏Transformer加速器设计，解决算子适配、存储调度、稀疏利用等挑战，极度舒适。。

想看AI芯片下一步往哪里走？没来上海峰会的人，看这篇就够了

三、 AI芯片的平民化与端侧模拟计算的今后

芯词元创始人詹翊觉得，AI平民化分为AI有没有值得用、用不用得起、能否显著提升生产力三个维度。在坚硬件上，这反映在降投入成本和提升推理速度上。IO资本联合创始人俞枫对AI芯片及半导体创业持乐观态度， 觉得Agentic AI正推动计算范式转变，市场环境正在奖励创崭新带来的效能提升，我裂开了。。

四、AI芯片产业格局演变

因为智能体爆发，全球AI芯片产业格局持续演变。头部模型厂商较深度参与芯片架构定制，云计算巨头纷纷自研AI芯片，国产AI加速卡持续放量。算力运营沉重心从不计投入成本抢占较高端算力，转向以token投入成本和算力利用率为核心的精细化运营。

五、 AI芯片的技术手段创崭新与应用场景拓展

AI芯片的技术手段创崭新正从单点提升计算性能，转向计算、存储、互联、柔软件与设计工具的系统级沉重构。应用场景拓展AI芯片应用从数据中心向边缘计算、端侧设备全面下沉。智能驾驶、智能生产、医疗服务身体健康状况等领域对AI芯片的需求持续增较长，火候不够。。

六、 ：AI芯片的今后展望

醉了... AI芯片产业将持续引领人工制作智能创崭新，成为产业核心驱动力。今后AI芯片将朝着通用化与定制化结合、融合创崭新、端侧迁移、生态协同等方向持续发展。

FAQ

1. 格局小了。 哪些是端侧较大模型推理？ 端侧较大模型推理指的是在移动设备或边缘设备上， 直接对较大模型进行推理操作，以实现实时响应和减较低延迟。

2. 哪些是3D近存计算？ 3D近存计算是一种通过在芯片上堆叠存储器来提升存储带较宽和减较低功耗的技术手段，说到点子上了。。

3. 哪些是Agentic AI？ Agentic AI是一种能够自主决策、 PUA。 持续运行、较长任务处理的智能体技术手段。

4. 哪些是Token？ Token是AI芯片计算过程中的基本单位， 说白了就是... 用于表示数据和指令。