蔚来智驾的大模型之路：自研芯片+世界模型+群体智能

　　李斌说，2023年的第一届NIO IN像是一个大纲，第一次对外完整展示了蔚来布局的12大技术领域。

　　其中，在智能驾驶领域，从模块化的智驾方案，向端到端大模型的切换成为今年最重要的技术风潮。未来一周内，小鹏、理想等都将公布各自在端到端智驾上的进展，蔚来率先出牌。

　　9031上ISP的高处理位宽配合降噪算法，能提供很高的动态处理范围，从而使暗光下图像细节更丰富，更容易看清几百米外的标识、细小物体。

　　。不过，李斌也提到，「（芯片）它的作用，要明年的一季度才可以发挥出来。即使芯片上车了，依托于新的架构体验要落地也是需要时间，期望值要管理好。」

　　这可能也意味着，在NT3这代平台上，蔚来自研的神玑和第三方的计算芯片可能要并行一段时间，实现平滑过渡。

　　神玑NX9031是蔚来内部的芯片团队与智驾团队花费了几年时间联合定义的。它很重要的一项特性，就是为世界模型原生打造。

　　。蔚来认为，一个足够聪明的智能体，应当具备想象重建（空间理解）和想象推演（时间理解）的能力，而端到端的模型，不必然具备这两个核心能力。

　　蔚来世界模型（NIO World Model，简称NWM），去年已经开始规划，但当时的NIO IN还不太成熟。

　　2分钟的视频长度，可以用来预测未来2分钟内将发生的驾驶场景；在轨迹规划方面，MWM目前每0.1秒能生成216种可能的轨迹，而每0.1秒后再根据环境动态重新生成216种轨迹，让系统选出最佳的驾驶策略。

　　李斌说，NWM这几个月的进展非常快，是「跃迁式的，几个月前还只能生成几十秒」。2分钟意味着即使开得很慢（30公里/小时），也可以覆盖到未来1公里将发生的各种驾驶情况。

　　空间理解能力，NWM通过生成模型重构传感器输入泛化信息，而端到端模型学习任务单一、抽取信息有损失；

　　数据要求，NWM使用无标注的数据进行自监督学习，后者依赖轨迹信号信息密度低、感知标注辅助训练，成本高而效率低。

　　。蔚来接下来的工作，是将NWM实现车端的部署。少卿透露，今年Q4会有机会「给大家一些体验」。

　　与NWM配套，蔚来开发了仿真器NSim（NIO Simulation）。在整个数据链路上，车端的群体智能 + NSim理论上可以给NWM提供源源不断的数据。

　　以数据收集为例，如果没有量产车队，一般的智驾公司持有的测试车辆最多在几百台级别，而几百台真值采集车光持有成本就达到几亿元。

　　。而群体智能，多用一块OrinX的设计，使车辆不光在智驾状态下，在非智驾状态下也能获取到有效数据。

　　蔚来在Banyan 2.6.5版本中上线亿公里的数据中获取到了1万个碰撞事故事件。实际上，在NIO IN上公布的蔚来用户智驾领航的总里程还只有11亿公里（尽管已经是目前各家中总里程最高的）。

　　AEB能力提升的核心挑战是在大幅提升AEB场景覆盖率的基础上，不增加AEB的误触发，验证覆盖是开发中的难点。端到端AEB的验证也使用了群体智能，4亿公里分为10轮的里程验证。

　　而在测试验证上，群体智能使得新的模型版本，可以对比人类驾驶的状态，也可以对比过去的稳态版本，形成反馈闭环。蔚来智驾团队告诉我们，「群体智能的验证非常接近于实车验证，大幅好于仿线年里，智能系统的架构每年都在发生翻天覆地的变化。