伴随着 ChatGPT 的到来，智能驾驶行业也迎来 GPT 的时刻。

在新一届的的 HAOMO AI DAY上，毫末发布了针对自动驾驶生成式大模型 DriveGPT，中文名“雪湖·海若”，我们毫末的同学做了一次线上交流。

无论是无图化、BEV+Transformer 还是 GPT ，智能驾驶技术的演进逐步挣脱限制，跨步超出我们的想象，把过去那些不可能变成可能，把想象变成可落地。

而毫末推出的重感知、不依赖高精地图的城市 NOH 也最先在北京、上海、保定等城市落地，并计划在 2024 年落地 100 城，目前还收获了 3 个主机厂的定点合同。

一、GPT 如何应用在智能驾驶？

毫末智行 CEO 顾维灏发布自动驾驶生成式大模型 DriveGPT，中文名雪湖·海若。

那 GPT 又是如何应用在智能驾驶上呢？

实际上毫末现阶段主要为了解决智能驾驶的认知决策问题上，后续才会将多个大模型整合到 DriveGPT 上。

而 DriveGPT 实际上也是一个生成式预训练大模型，但和 ChatGPT 用自然语言进行输入与输出不同，DriveGPT 输入是感知融合后的文本序列，输出是自动驾驶场景文本序列。

如何理解呢？

在 ChatGPT 中，生成式对话会根据现实的分布来推理下一刻出现的单词，以此来生成对话的能力。

而智能驾驶其实也可能类似，就是通过结合当下的环境、地图信息甚至驾驶者的行为来预测整体的下一步动作，即使这个生成存在概率，但它能够用一个更大的模型来覆盖传统的模型，同时这里面存在了有大量的无监督、不需要标注的场景学习，让模型变得更大、更具备推理性。

毫末也因此定义了一种驾驶语言，Drive language，用自然语言的视角来看待驾驶决策，把系统的驾驶决策变得具备“上下文理解”。

同时在训练上可以构建一个预训练模型，比如我们给模型前面几帧的场景让模型去推测我们后面会发生哪些场景，以此给模型做预训练。

而这时候再加上人类参与的学习反馈，例如用户什么时候做了接管或者加入我们熟悉的影子模式，来看看人类是怎么开车的？用这些反馈来输入给模型，来判断哪些是用户喜欢的、哪些是不喜欢的。

这时候系统其实不用传统的给每个决策做打分，核心其实是为了得到一个排序，例如 A 没有被接管但是 B 接管了，那么 A 的决策肯定比 B 的更好，系统只需要得到两两的排序。那么在训练模型上，毫末就可以拿目前搜集的主流接管数据，代替驾驶者喜好的数据作为样本来训练模型。

而模型训练后，它的策略会怎么做才能保证满足驾驶者的偏好呢？

这时候就需要在一个模型上加上一个 Prompt ，它就像一个提示词，输入给系统做什么样的决策才会满足不同驾驶者的习惯。

例如要汇入主路，系统的策略是激进的汇入还是柔和一点，还是等大部分走完了有空间了再汇进入，如何在安全、舒适以及高效的范围内完成一个汇入策略。

这时候模型还需要有一个“提示词”，来找出相对应的概率关系，它就像一个指示说“需要加多点盐”、“加多点糖”，从而用不同概率的排布执行出来，如果这个概率越大，被用户喜欢的体验成功率也会越大。

通过在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管数据完成反馈模型的训练，然后再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化，让模型变得更加具备优化性。

同时毫末宣布 DriveGPT 雪湖·海若首发车型为新摩卡 DHT-PHEV，并且将量产上市。顾维灏提到，DriveGPT 雪湖·海若可以逐步应用到城市NOH、捷径推荐、智能陪练以及脱困场景中。

二、用鱼眼相机代替超声波雷达？

MANA的视觉感知能力也在不断提升。

一方面毫末可同时学习三维空间结构和图片纹理，并将纯视觉测距精度超过了超声波雷达，BEV 方案也拥有了更强的通用性和适配性。

另一方面可实现单趟和多趟纯视觉 NeRF 三维重建，道路场景更逼真，肉眼几乎看不出差异。

通过 NeRF 进行场景重建后，可以编辑合成真实环境难以收集到的 Corner Case。在原有的全局视角修改、添加光照/天气效果的基础上，新增合成虚拟动态物体的能力，可以在原有设定的运动轨迹上，合成各种 Hard Case，模拟城市复杂交通环境，用更低成本测试提升城市 NOH 能力边界，更好提升应对城市复杂交通环境。

此次毫末还提到了单目视觉测量。毫末也提出了验证能否使用鱼眼相机代替超声波雷达进行测距，以满足泊车要求。

毫末也把视觉BEV感知框架引入到了车端鱼眼相机，做到了在 15 米范围内实现了 30cm 的测量精度，2 米内精度高于 10cm 的视觉精度效果。泊车场景使用纯视觉测距来取代超声波雷达，以此进一步降低整体智驾成本。

三、拿下三大主机厂定点合同

目前搭载 HPilot3.0的摩卡DHT-PHEV即将上市，第二款搭载毫末HPilot3.0的车型魏牌蓝山也将在今年交付。

同时毫末预计在 2024 年落地城市NOH 百城计划，目前已在北京、保定、上海等城市开启泛化测试。同时毫末目前已与3家主机厂签署定点合同，相关项目正在交付中。

可以看到毫末打造的 MANA 智能体系在不断迭代升级后也开始开放赋能，MANA 计算针对大模型训练在参数规模、稳定性和效率方面做了很多优化，并集成到 OASIS 中。

而通过把 MANA 感知和认知相关大模型能力统一整合到 DriveGPT 雪湖·海若中，并且使用 NeRF 技术的数据合成服务，降低 Corner Case 数据的获取成本。

新技术的不断发展也正给技术量产落地带来无穷的想象…