智能座舱进入“端到端”时刻...和大家聊聊座舱大模型｜ 今天到访商汤。 大多数人好奇，智驾端到端，那下半场座舱会带来什么？ 高通下代芯片规划算力是 200+TOPS，能够支持 4-5 个 7B（亿）的参数模型，座舱的“端到端”时刻也马上到来。 未来座舱多模态大模型会变成多个应用智能体，智能体和智能体之间可以交流、推理，满足用户不同需求，和如今的智驾系统 1 + 系统 2 相同。 也是同样端到端，这时候最大的改变就是系统从过去的被动接受人类指令，变成更类人的主动交互、和人一样丝滑交流。 商汤多模态流式交互前段时间比较火，多模态就是集成了多种交互信息，比如声音、文本、图像和视频等等，实时交互，具有推理性。 这种交互模式有几个特点，比如多任务的适应性强，能够在一个模型中处理多种任务，并且根据不同上下文调整行为和输出，其次是具备记忆力。 跑在座舱上有几个好处，多模态那可以利用舱内的 DMS/OMS 摄像头，结合车内场景来调动舱内的状态场景理解能力更强，而且大模型的交流会更类人。 具备记忆力的优势是比如乐道的「小乐识人」，就是用了商汤的方案。可以基于人脸数据自动存储个性化数据，叫小乐后就会记住你的使用习惯、座椅位置等等。 现在商汤有两种座舱模型： 车端的座舱模型参数大概是 2.1B/8B ，8295 可以支持 2.1B ，8B 的参数得 Orin 才可以 。几十 B 甚至到 100B 以上就得上云端算力。 而我们现在车上大部分语言跑的都是单模态，只懂语音，模型也很小，小于 1B ，主要做车控识别。 而且过去语音都是有很多个小模型堆叠一起，然后翻译成文本再分类，但会常常识别不清晰，或者识别错了，要么识别不了。 未来多模态的大模型，就是可以通过舱内视频+语音+场景等方式结合，识别更加准确、也有更拟人化的识别，而且还有时序的记忆。 比如在车里掉了一顶帽子，语音会告诉你“你之前掉在了后排的座椅上。” 比如丢了手机，语音会说”昨天早上十点有个长发的女生把手机落在前排座椅了” 但不同模型体量带来的方向不同。 云端前期投入不高，但后期量产成本很高，多模态的语音、图片、视频等算力需求很大。 车端相反，前期投入高，比如要大算力芯片。但后期推理成本低。