毫末DriveGPT雪湖·海若,让自动驾驶更早到来

如题所述

ChatGPT的火爆,让AI大模型成为各大科技巨头争相布局的重点。

无论是国外的微软、谷歌、Meta,还是国内的百度、华为、阿里、商汤等企业,都已经涉足AI大模型的研究与探索。

如同2016年AlphaGo的横空出世一般,AI大模型的爆发也是引发AI变革的划时代里程碑。阿里巴巴集团董事会主席兼CEO张勇甚至认为,所有行业、所有应用、所有软件、所有服务都值得基于新型人工智能技术以及大模型支撑重做一遍。

英伟达CEO黄仁勋也曾表达过同样的观点,他认为AI产业迎来“iPhone”时刻,AI技术爆炸、产业爆发的趋势已经势不可挡,甚至将撬动涵盖交通医疗、运输、零售及物流在内的百万亿美金的市场。

正如毫末智行董事长张凯在4月11日举办的第八届HAOMO AI DAY的演讲中所形容的,“距离上一届HAOMO AI DAY刚刚过去三个月,却仿佛跨入了一个新周期”,一系列AI大模型的陆续发布,让更多人相信人工智能技术迎来从量变到质变的重大节点。

在第八届HAOMO AI DAY上,毫末智行也发布了业内首个自动驾驶生成式大模型DriveGPT,中文名“雪湖·海若”。

△毫末智行董事长张凯、CEO顾维灏、COO侯军、CIO甄龙豹在HAOMO AI DAY现场

对于大模型,毫末并不陌生。此次发布自动驾驶生成式大模型DriveGPT雪湖·海若,既不是毫末的跟风之举,也不是为了蹭GPT的热点

早在两年前,毫末就已经开始关注并投入到AI大模型技术的研发之中。在AI自动驾驶领域,毫末可以说是大模型研发和应用的先行者。

毫末为什么要研发DriveGPT雪湖·海若?

毫末智行CEO顾维灏说,他在这段时间经常会被问到这个问题。在毫末看来,DriveGPT雪湖·海若将会重塑汽车智能化技术路线,让辅助驾驶进化更快,让自动驾驶更早到来

张凯判断,2023年智驾产品将进入全线爆发期,“生成式大模型将成为自动驾驶系统进化的关键”。

接下来,基于 Transformer 大模型训练的感知、认知算法会逐步在车端进行落地部署,而随着大模型开启在车端的落地应用,车主的使用频率和满意度成为产品竞争力的重要衡量标准。张凯表示,“毫末不断进步的数据驱动的六大闭环能力,将进一步加速毫末进入自动驾驶3.0时代的步伐,并形成相应的护城河”。

01

业内首个自动驾驶生成式大模型

最近一段时间,关于自动驾驶的未来,行业内出现了截然不同的观点。

乐观派认为到2030年之前L3级自动驾驶将会批量落地;悲观派断定,“十年内L3自动驾驶技术都不会到来”;唱衰派则称自动驾驶“都是扯淡...都是忽悠,就是一场皇帝的新装……最终就是一个高级辅助驾驶而已”。

无论哪一派观点,一个不容忽视的现实是,自动驾驶技术的变革才刚刚开始。特别是AI大模型引发的产业应用和变革,更是为自动驾驶技术发展注入全新的动力。

同济大学教授、汽车安全技术研究所所长朱西产也在第八届HAOMO AI DAY上分享了自己的观点:自动驾驶不能长期停留在L2+,还是要去做到L3、L4,最终走向终局的无人驾驶。

毫末也一直相信,AI大模型已成为自动驾驶技术进化的核心动力之一。在今年1月的第七届HAOMO AI DAY上,顾维灏就分享了其智算中心,以及从感知到认知以及仿真的五大大模型,包括视觉自监督大模型、3D重建大模型、多模态互监督大模型、动态环境大模型、人驾自监督认知大模型。

毫末这五大大模型,与如今爆火的AI大模型有很多共同之处。

据顾维灏介绍,DriveGPT雪湖·海若通过引入驾驶数据建立RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化。

现阶段,DriveGPT雪湖·海若主要用于解决自动驾驶的认知决策问题,后续持续会将毫末多个大模型的能力整合到DriveGPT,但最终目标是实现端到端自动驾驶。

目前,毫末DriveGPT雪湖·海若实现了模型架构与参数规模的升级,参数规模达到1200亿,预训练阶段引入4000万公里量产车驾驶数据,RLHF阶段引入 5万段人工精选的困难场景接管Clips。

DriveGPT雪湖·海若的底层模型采用GPT(Generative Pre-trained Transformer)生成式预训练大模型,不过与ChatGPT使用自然语言进行输入与输出不同,DriveGPT输入是感知融合后的文本序列,输出是自动驾驶场景文本序列,即将自动驾驶场景Token化,形成“Drive Language”,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。

在实现过程上,DriveGPT雪湖·海若首先在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管Clips数据完成反馈模型(Reward Model)的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。

同时,DriveGPT雪湖·海若还会根据输入端的提示语以及毫末CSS自动驾驶场景库的决策样本去训练模型,让模型学习推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。

随着技术不断优化,DriveGPT雪湖·海若将逐步应用到城市NOH、捷径推荐、智能陪练以及脱困场景中。

从用户可感知的角度来看,有了DriveGPT雪湖·海若的加持,车辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。也就是说车辆的智能驾驶系统会越来越像老司机,从而加强用户对智能产品的信任感。

顾维灏透露,DriveGPT雪湖·海若的首发车型是新摩卡DHT-PHEV,即将量产上市。

值得一提的是,毫末DriveGPT雪湖·海若已正式对外开放,开启对限量首批客户的合作,除了魏牌新能源,北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、英特尔等已经加入。

毫末DriveGPT雪湖·海若将携手生态伙伴率先探索四大应用能力,包括智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困。

这将有效促进自动驾驶从业者和研究机构快速构建基础能力。

02

数据驱动技术升级

毫末一直坚信数据是人工智能最大的驱动力,并一直以数据驱动的方式来推动自动驾驶产品的升级。

截止到2023月4月,毫末辅助驾驶用户行驶里程已经突破4000万公里,小魔驼的配送量也超过了16万单,MANA的学习时长超过56万小时,虚拟驾龄相当于人类司机6.8万年。

顾维灏表示,这些数据每时每刻都在增长变化,2023年将迎来指数级增长。

在对数据的大量应用过程中,毫末已经逐步建立起一套基于4D Clips驾驶场景识别方案,并将逐步向行业开放使用。

毫末这套场景识别方案具备极高性价比。比如,给出正确的场景识别标注结果,行业内普遍的价格是一张图片约5元;而使用DriveGPT雪湖·海若的场景识别服务,一张图片的价格将下降到0.5元。

此前有业内人士提到,自动驾驶一年要做大概1000万帧图像人工标定,如果单帧图片整体标注成本降低到行业的1/10,这将极大地降低自动驾驶使用数据的成本,并且提高数据质量和效率,从而加速自动驾驶技术的快速发展。

毫末打造的中国首个自动驾驶数据智能体系MANA,在经过一年多的应用迭代后,本次AI DAY也迎来了全面的升级,并正式对外开放赋能。

顾维灏介绍,MANA计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到OASIS中;其次,MANA感知和认知相关大模型能力统一整合到DriveGPT雪湖·海若中;第三,增加了使用NeRF技术的数据合成服务,降低Corner Case数据的获取成本。

与此同时,针对多种芯片和多种车型的快速交付难题,MANA优化了异构部署工具和车型适配工具。

此外,MANA的视觉感知能力持续提升,一方面可同时学习三维空间结构和图片纹理,并将纯视觉测距精度超过了超声波雷达,BEV方案也拥有了更强的通用性和适配性;另一方面可实现单趟和多趟纯视觉NeRF三维重建,道路场景更逼真,肉眼几乎看不出差异。

通过NeRF进行场景重建后,可以编辑合成真实环境难以收集到的Corner Case。在原有的全局视角修改、添加光照/天气效果的基础上,新增合成虚拟动态物体的能力,可以在原有设定的运动轨迹上,合成各种Hard Case,模拟城市复杂交通环境,用更低成本测试提升城市NOH能力边界,更好提升应对城市复杂交通环境

值得一提的是,面对目前行业里最难的视觉任务之一——单目视觉测量,继特斯拉后,毫末也在中国率先开始验证能否使用鱼眼相机代替超声波雷达进行测距,以满足泊车要求

毫末把视觉BEV感知框架引入到了车端鱼眼相机,做到了在15米范围内达到30cm的测量精度,2米内精度高于10cm的视觉精度效果。泊车场景使用纯视觉测距来取代超声波雷达,将进一步降低整体智驾成本。

03

四大战役全面突围,拿下三大主机厂定点

作为中国唯一聚焦自动驾驶 AI 技术的盛宴,每届HAOMO AI DAY,毫末都会分享最前沿的自动驾驶行业趋势,发布最新的技术和产品进展。

这一次也不例外。

张凯以《HAOMO SPEED,AI SPEED》为题,分享了对于2023年自动驾驶发展宏观趋势的判断,以及毫末四大战役及商业化发展的最新进展。

张凯认为,智驾产品正在进入快速增长的全线爆发期,2023年将是智能驾驶冲刺之年、大考之年。

首先,城市导航辅助驾驶产品在2023年将围绕量产上车发力,主要玩家的城市导航辅助驾驶产品进入到真实用户覆盖和多城市落地的比拼。

其次,行泊一体和末端物流自动配送产业商业化将成为自动驾驶公司深耕的重点。

在乘用车领域,搭载行泊一体功能的智驾产品将迎来前装量产潮;在末端物流自动配送领域,末端物流自动配送车在商超、快递等场景迎来爆发,2023年将在这些场景实现可持续商业化闭环。

在第七届HAOMO AI DAY上,毫末提出要打响“2023 年四大战役”。如今这四大战役在短短三个多月时间内已经取得了快速进展。

首先,在“智能驾驶装机量王者之战”上,据张凯介绍,首款搭载HPilot3.0的新摩卡DHT-PHEV即将重磅上市,第二款搭载毫末HPilot3.0的车型魏牌蓝山也将在今年发布。

截至目前,毫末HPilot整体已搭载近20款车型。用户辅助驾驶行驶里程突破4000万公里,HPilot2.0辅助驾驶日均行驶里程使用率达到了12.6%,而且这一比例也在随着用户认可度的提高不断增加。

在海外布局方面,搭载毫末HPilot的车辆已运往欧盟、以色列等地区和国家,陆续交付到用户手中,接下来将在中东、南非、澳大利亚等市场陆续投放;同时,毫末HPilot即将量产墨西哥版本及俄罗斯版本。

今年3月,高工智能汽车研究院基于前装量产数据库及定点车型库数据进行的年度综合评估中,毫末凭借前装近20款车辆的优异表现,获颁年度高阶智能驾驶系统量产份额领军奖。第三方数据佐证毫末是中国量产自动驾驶绝对领军者,毫末持续引领中国自动驾驶第一名。

其次是“MANA大模型巅峰之战”,中国首个自动驾驶数据智能体系MANA架构已迎来全线升级。到2023年4月,MANA学习时长超56万小时,相当于人类司机6.8万年。毫末DriveGPT雪湖·海若,已经完成基于4000万公里驾驶数据的训练,参数规模达1200亿。

第三是“城市NOH百城大战”,中国首款可大规模量产落地、重感知城市NOH,已在北京、保定、<a class="baikekeyl" href="https://car.yiche.com/shanghai-

【本文来自易车号作者出行范儿,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】

温馨提示:答案为网友推荐,仅供参考
相似回答