毫末顾维灏：ai大模型技术是自动驾驶真正实现的唯一路径-pg电子官方网址

　　“以大模型、大算力、大数据为代表的自动驾驶3.0时代已经到来，这些都是智能汽车新质生产力关键要素。毫末将以技术领先的‘极致性价比’智驾产品，助力车企智能化革命。”2024年3月17日，毫末ceo顾维灏受邀出席中国电动汽车百人会论坛（2024），并在现场发表主题演讲《自动驾驶3.0时代，大模型重塑汽车智能化路线》。顾维灏透露，毫末第二代hpilot极致性价比无图noh智驾产品，已陆续进入交付状态。

　　近年来，全球科技竞争日趋激烈，chatgpt、sora的相继问世，引发国内大模型的涌现，智能驾驶也正在成为汽车革命下半场的主角。顾维灏表示，毫末率先布局大模型、大算力、大数据为代表的自动驾驶3.0时代，构建智能汽车新质生产力，希望用技术推进产业的进步。他认为，ai大模型技术是自动驾驶真正实现的唯一路径。端到端自动驾驶也会是未来很重要的技术方向，但还需要几年的时间才能到来。因此这几年是从离散到聚集，感知模型、认知模型、控制模型聚集到一块，从分散到聚集的一个过程。

　　顾维灏以毫末智行为例，他说毫末在发布了行业首个自动驾驶生成式大模型drivegpt雪湖·海若之后，始终在坚定投入大模型技术的研发创新，在数据的筛选挖掘、自动标注、生成仿真以及认知可解释性等方面实现了显著的突破和创新。

　　相比2.0时代主要采用传统模块化框架，3.0时代的技术框架会发生颠覆性变化。首先，自动驾驶会在云端实现感知大模型和认知大模型的能力突破，并将车端各类小模型逐步统一为感知模型和认知模型，同时将控制模块也 ai 模型化。随后，车端智驾系统的演进路线也是一方面会逐步全链路模型化，另一方面会逐步大模型化，即小模型逐渐统一到大模型内。然后，云端大模型也可以通过剪枝、蒸馏等方式逐步提升车端的感知能力，在通讯环境比较好的地方，大模型甚至可以通过车云协同的方式实现远程控车。在未来，车端、云端都会是端到端的自动驾驶大模型。

　　顾维灏解释说，在感知阶段，drivegpt 首先通过构建视觉感知大模型来实现对真实物理世界的学习，将真实世界建模到三维空间，再加上时序形成 4d 向量空间；然后，在构建对真实物理世界的 4d 感知的基础上，毫末进一步引入开源的图文多模态大模型，构建更为的语义感知大模型，实现文、图、视频多模态信息的整合，从而完成 4d 向量空间到语义空间的对齐，实现跟人类一样的“识别万物”的能力。

　　在认知阶段，基于通用语义感知大模型提供的“万物识别”能力，drivegpt 通过构建驾驶语言（drive language）来描述驾驶环境和驾驶意图，再结合导航引导信息以及自车历史动作，借助外部大语言模型 llm 的海量知识来辅助给出驾驶决策。

　　由于大语言模型已经学习到并压缩了人类社会的全部知识，因而也就包含了驾驶相关知识。毫末经过对大语言模型的专门训练和微调，从而让大语言模型更好地适配自动驾驶任务，使得大语言模型能真正看懂驾驶环境、解释驾驶行为，做出驾驶决策。认知大模型通过与大语言模型结合，使得自动驾驶认知决策获得了人类社会的常识和推理能力，也就是获得了世界知识，从而提升自动驾驶策略的可解释性和泛化性。

　　演讲中，顾维灏分享了毫末的产品量产成果。目前，毫末已推出七款hpilot智能驾驶极致性价比产品。其中，hp170、hp370、hp570三款千级辅助驾驶产品，已陆续进入交付状态。据悉，截至2024年3月，毫末hpilot搭载车辆超过20款，用户辅助驾驶行驶里程突破1.3亿公里。