【 聊聊 nio 的 辅助驾驶技术 — 数据的收集和处理 】 不知道为啥，又有人对 nio 技术动手了 ，太惨了。 现在的人工智能技术是建立在对数据的收集和处理框架下的，谁建立的强大的数据处理能力，谁才能所谓的 端。 nio 最强的之一是：建立起了一套数据能力。 一个技术的兴起往往伴随着非常夸张的热捧，bev 、tf、occ 都享受过众星捧月，端到端正在享受。 我不是一个喜欢唱反调的，但至少我个人依然想分享一下自己的看法。 在 2023 年下半年开始，城区 NOA 开始被卷起来，我个人分享过非常多，我们依然不能无节制和无序去传播城区 NOA。 2024 年城区 NOA 可以慢一点，是我一直聊的比较多的，消费者其实可以等，至少还是一个具备足够安全信心的系统才能推给用户。 所以 2024 年卷开城，在任何一个厂商那里都是一个糟糕的选项，因为没人会真正意义上对消费者负责。 那是不是不发展，这显然更不对。这就是主机厂比较难的地方，但主机厂应该负起责更多责任。 关于自动驾驶技术，是一个很有趣的讨论方向，因为除了每一家相关企业具体的工程团队，其实没有任何人，是任何人可以把这件事情展开。 媒体喜欢用一些碎片化的信息去解释各家能力的好坏，但他们却分不清，自己评价主机厂的能力到底是指技术还是体验。 没错，技术和体验不是一回事，这里面有千丝万缕的关联，抱歉，德卤没有能力去展开解释。 但你可以去类比 Sora、chatgpt 在最初的版本里出现了绝对的体验弱点。 最近对几家的自动驾驶讨论又变多了，特别是技术本身，大家聊的火热，似乎人人算法专家的时代已经到来，定睛一看原来是和德卤水平差不多的自媒体，想想也很有趣。 自动驾驶是人工智能技术最大的应用之一，去讨论它的相关技术并且不可能，但这是一个复杂的学科，不是靠今天你吹一句，明天它骂一句，就能角逐出高低的。 相比只知道端到端很厉害，相反去理解它为什么这么厉害更重要。 ︎● 那就是端到端自动驾驶的难点究竟是啥？ 我们都知道神经网络是黑盒系统，目前其实也没有办法去控制神经网络内部发生了什么，而这天然与自动驾驶要求的安全性和可靠性相悖。 在传统的技术栈中，如果遇到了一个问题，是可以通过分模块的方式找到出问题的部分，例如感知层给的目标的位置不对、规划给的轨迹不好。 但是端到端系统这些方式就失效了。 更好的问题归因优化和验证系统迫在眉睫。 ︎● 如何找到合适的数据？ 我们可以将同样基本是黑盒的感知系统推广到整个自动驾驶系统上。 以前感知如果出了问题应该怎么做，这里举一个非常典型的 Corner Case， 公交车上广告牌的人形图案，这个问题特斯拉、理想都爆出过误识别新闻。 ︎● 应该如何解决这个问题？ 挖掘足够的的公交车上广告牌的人形图案数据，扔给神经网络进行训练，不断优化感知系统，规划和控制部分可以保持不变。 那么再进一步，已经是端到端系统了，如果现在结果是车辆误刹。 那么问题的归因就成了一个巨大的问题，因为没有办法马上知道，是因为这个人形图案带来的 BUG，也就无法去对应寻找数据。 即使找到了对应的问题，寻找特定的数据也是巨大工程，需要在数据闭环系统中找到相似的人形公交视频和人类驾驶数据，再进入端到端系统进行训练。 那么新的问题又出现了，如何验证问题已经修复并且性能不回退呢？ ︎● 如何验证端到端自动驾驶系统？ 我们知道传统的自动驾驶技术栈通过仿真虚拟进行大规模验证得出结论后，可以上车进行实车测试。 而这里最重要的区别是，仿真的验证。 在传统的技术栈中，可以将每个模块分开来验证的，感知和规划可以分别用数据在云上大规模验证，每个团队都会有一个数据库，每次新系统上线会将数据喂到新系统里面进行大规模验证。 这是之前的经验。 但是这里有两个问题： - 大部分团队的验证方式是开环验证，也就是并没有与环境产生任何交互，只验证输入和输出链路。 - 大部分团队对感知的验证还无法用纯虚拟的方式进行，需要实车数据才可以完成。 而这与端到端自动驾驶是相悖的。 端到端驾驶系统在上车跑之前，必须要用虚拟的方式全局验证通过，否则上车跑通无异于天方夜谭。 那么就涉及到一个非常好的可以模拟所有感知输出的自动驾驶模拟器，而且能够在这个模拟器里面模仿所有的交通参与者的交互信息。 即为了保证系统在真实世界的安全性，我们需要在虚拟世界中将系统充分验证。 前文提到的 Carla 在一定程度上可以满足学界的需求，但是场景的单一和渲染的质量，离业界的要求依然想去甚远。 其实不难看到，端到端自动驾驶依然依赖原有的自动驾驶开发工具链，优秀的数据闭环工具用来收集数据，优秀的自动驾驶仿真系统用来验证，而这大部分团队几乎都没有。 从这个角度来看，端到端自动驾驶无法进行弯道超车。 虽然著名反 OpenAI 人工智能专家杨乐昆认为，現有的 LLM 尽管在自然语言处理、对话交互、文本创作等领域表现出色，但其仍只是一种「统计建模」技术。 通过学习数据中的统计规律来完成相关任务，本质上并非具备真正的「理解」和「推理」能力。 而这个理论似乎放在端到端自动驾驶上也成立，相似的是最近港大的著名学者马毅提出：如果相信只靠 Scaling Laws 能实现 AGI，你该改行了。 那么似乎我们也可以说：如果相信只靠端到端就能实现 L4，那么你该改行了。 不过，我们目前看到最有希望的一条路已经摆在了我们面前，虽然这条路看不到是否能够通向终点，这条路似乎也没有那么简单，路上充满了很多不确定性，抵触的声音不绝于耳。 但是特斯拉已经向我们示范了这条路的巨大潜力。 所以，我们为什么不去尝试呢？ 在开头的时候我说了，数据收集和处理能力的重要性，大模型的 大 应该非常好理解，就是对数据的处理规模大的模型。 任少卿来到 nio 开启自研系统后，其实做的重要的动作是，理清楚一个真正以上基于数据驱动的架构。 这里面强调的是，真正意义上。 ︎● 怎么理解？ 车辆直接收集的用户数据其实并不能直接用户辅助驾驶的训练，或者说一个普通用户的车辆产生的数据可用于训练的不超过 30%。 群体智能的核心（我猜）是：让用户群体产生的数据可用于自动驾驶训练的规模大大提升了。 虽然我不知道具体提高多少，但我相信一定高于其他公司。 所谓的端到端是需要数据去训练的，核心难点是数据（我个人的理解）。 这其实就是端到端算法的最重要的特质，因为我们期待在数据驱动下，算法能够提供更好的场景理解能力，并且做出合理的反应。 最近很多人问候 nio，技术需要时间，华为用了几十年沉淀，别想当然一口吃成胖子，那是 毒药 才能起到的作用。 @Harry_AD