邬贺铨院士：大模型上车可以实现高度自动驾驶-pg电子官方网址

　　3月15日，中国电动汽车百人会论坛（2024）在开幕，中国工程院院士邬贺铨在大会上做了《5g ai加持，网联智驾加速》的演讲。邬贺铨院士表示，大模型加载到汽车上，可以实现从自主式驾驶辅助到网联式驾驶辅助，到人机共驾，以及的自动驾驶。

　　一直以来，5g和ai都被人类视为加速智能汽车的关键技术。去年年底，中国5g基站已经有300多万台了，占移动通信基站大概是1/3，占全球5g的60%。5g用户占移动用户已经过半，中国5g用户占全球5g用户也是一半。今年是5.5g的用年，5.5g是在原有的大连接、高可靠、低时延、增强移动宽带的基础上会增加很多新的能力。5.5g和5g相比，无论下行峰值、上行峰值、连接密度、定位精度、比特能效都有提升。

　　邬贺铨院士说，原来是下行带宽比较宽、上行带宽没那么宽，现在通过多个载波聚合，以及灵活的分配上下行等等技术，使得上行速率可以到7bt，这样的带宽有利于路侧摄像头，可以把高清视频往上传。现在通过5g提供沉浸式交互实景导航和车载娱乐体验，把时延大大控制下来，有利于智能驾驶的应用。当然还有，通过中速低时延，显著降低了传感器的成本。

　　除了5g，另外一个值得注意的技术趋势是人工智能。人工智能已经有60多年历史，但是最初被大家所感觉的是1997年ibm深蓝战胜了顶级国际象棋大师，其后影响似乎就没那么大了。邬贺铨院士说，重新唤起人们对ai的关注是2016年alphago战胜了围棋高手，更为重要的影响是2022年底的chatgpt和2024年初的sora为例，还会走到第三代人工智能，单模型可以支持多任务、输入可以多模态，可以精准的进行计算。

　　邬贺铨院士认为，5g、ai的发展会给汽车智能化带来很大的改变。比如现在就利用人工智能解决道路数据采集的难题。“

　　有人说自动驾驶的商业化落地要有百亿公里的路测数据，就是相当于100辆汽车每天不停地跑要测试100年，这根本是做不到的。去年上半年中国累计开放的测试道路是2万多公里，总测试的里程超过了7000万公里，7000万强不到1个亿，刚才说了前边有百亿，就是说1%都不到，而专门的采集车成本甚至很高，有人说可以高达每天1万，而且即便这样跑下来也不一定能捕捉到特殊的长尾场景。”邬贺铨院士透露，现阶段中国进行的智能网联汽车的测试中90%都是仿真的，9%是封闭道路的，只有1%是真实道路的，跟真正的道路测试差很远，而且同样的，仿真也很难覆盖到真实的“长尾场景”。解决的办法是利用人工智能，在已有的测试，白天测试的场景可以通过迁移学习变成晚上的场景，甚至可以仿真日常司机的不规范行为，包括一些危险的场景，通过这样可以获得解决真正的路测不可能覆盖“长尾场景”的问题，当然这种迁移学习可以通过改变光源、材质等各种各样的数据，在数据中心内部就可以做到了。

　　    据悉，也只做了20亿公里，离100亿公里的测试只有1/5，现在认为不再做真实路段的测试了，通过人工智能的办法来完善路测的数据，基于这种大模型的路测每天就可以做上百万公里。

　　    邬贺铨院士举例说，可以通过sora让汽车找出各种各样的场景，比如旧轿车、造出一个水下开车的场景、改变了路边的状况，比较简单，在sora的基础上通过进一步的迁移学习就可以派生出更多的视频，可以丰富对自动驾驶汽车的训练。

　　“把大模型直接嵌入到智能网联汽车。生成式大模型本质上就是一个数据压缩器，比如说语言大模型chatgpt训练的数据集900tb，可是训练完成以后的模型参数只有64tb，两者一比压缩了14倍，而sora大模型压缩了40倍。”

　　    邬贺铨院士称，边缘计算和汽车本身算力也是不足的，但是可以通过进一步的压缩技术，像模型量化、剪枝、知识蒸馏、低秩适配、结构搜索等进一步精简模型。“只需要汽车做推理，并不需要汽车做训练，就可以把模型进一步压缩。芯片也可以增强。”现在手机的能力，手机上如果有10亿级参数，现在的手机基本上都能做到，有一定的智能，但是不够的是还需要跟云端协作。现在已经有千亿参数的手机了，就可以做简单的智能分析。今年市场上已经有130亿参数的手机出售了，单独手机不需要联网就有智能涌现能力，有些公司已经宣称，今年年底以前要推出千亿参数推理能力的手机，迁移参数手机相当于gpt—3的能力了。如果放在汽车上，汽车芯片的能力远远可以高于手机，所以将来单车智能可以进一步提升，可以把汽车变成ai agent，通过这样实现汽车的车路城网协同，不需要连到网上，直接在汽车上智能化处理成本低、时延低，可以让用户的隐私数据不必上到云上，有高度隐私和个性化的支撑。

　　邬贺铨院士认为，通过人工智能以及5g等能力，可以进一步丰富智能座舱，实现人车交互的智能化，提升驾驶的安全性、舒适性、便捷性。比如中控屏、车内的娱乐系统，车里是有很大噪声的，现在可以显著降噪，当然可以通过语音识别释放功能，双手、双眼，用手势实现控制自动驾驶等。可以让人工智能识别交警和行人的手势。还有抬头显示、流媒体后视镜、驾驶员疲劳驾驶检测等能力，可以进一步丰富。

　　    除了智能座舱当然更希望还有智能驾驶。通过大模型加载到汽车上，可以从自主式驾驶辅助到网联式驾驶辅助，到人机共驾，以及高度的自动驾驶。比如环境感知，可以把各类传感器能力很好地融合起来，感知周边的信息，并且与路侧联动，可以实现对障碍物的检测等。

　　“有了单车智能还是不够的，还需要路侧联动，路侧感知设备挂在高杆上，视野更好、覆盖宽、全天候、无盲区，可以替代部分车端算力，也可以降低车载算力的要求，连到云上可以得到更好的交通流全局的指导，改善车辆间的协同性。”邬贺铨院士说，到去年7月份，中国已经安装了8500多台路侧rsu，在5000公里道路上实现了智能化手机。“当然智能驾驶不限于环境感知路侧联动，还通过分析、决策，可以让车得到很好的城市管理系统的支撑、帮助、指导。而且通过智慧底盘和汽车软件，我们也可以很好地感知道路的状况，反馈给城市道路管理部门，从而可以更好地掌控整个城市的交通流量和管理，有利于城市的运行安全。”

　　最后，邬贺铨院士表示，当前生成式的语言大模型和视频大模型技术突破为人工智能成为物理世界的引擎拉开了序幕，将进一步增强单车智能和云路智能。5g的广渗透和5.5g开始商用，推动了c-v2x完善并走向成熟。单车智能和车路网云城智能协同的5g—v2x车联网技术路线在国际上已经取得共识，技术与产业正加快发展。智能网联车和新能源车相辅相成，数字化、网联化、智能化、绿色化紧密结合。车联网成为承载新质生产力的新兴产业，在国家高质量发展中彰显了新动能的重任。国家相关部委也出台政策鼓励发展车联网。当前需要建立全国统一的车联网投资与运营主体，探讨商业模式，促进法规建设，凝聚产业链相关方力量，完善车联网发展生态。