本次测评的被测对象,是头部主机厂及智驾供应商搭载城市NOA的量产车型,围绕安全性、舒适性、可靠性、通行效率等维度,完成城区NOA的系统全面的测评,并基于真实数据,对所测车型进行全方位的分析。
汽车智能化的进程在不断加速,目前对于头部品牌来说,仅可实现基础L2级功能的车型已经很少了,大部分车型已经标配高速NOA功能,并且正在加快布局城区NOA功能。其中的先行企业如蔚小理等,早在去年甚至更早,就已经发布了城区NOA,并积累了大量的数据;而其他的城区NOA新入局者,也正在你追我赶,不甘落后。
2023年能够说是城区NOA元年,当年其市场规模为5亿元,功能渗透率为0.1%。据亿欧汽车研究院预测,2030年城区NOA功能市场规模将达到近1500亿元,未来国内主机厂将加大城区NOA功能的投入,一直在优化城区NOA功能的体验感。
为保证测试结果的真实性和通用性,本次测评严格遵循全面性、安全性、公允性原则。
测评地点的全覆盖:为了可以尽可能覆盖城市窄路、桥面、隧道、环行道路等不同场景,选择了横跨上海的浦西虹桥到浦东张江,以保证覆盖场景全面性。
用户场景的全面性:从城区NOA的基础场景和特定场景出发,选取20+种用户出行场景,基本包含日常使用城区NOA涉及的主要场景,场景覆盖度超过95%。
评价指标的全面性:从安全性、舒适性、可靠性、通行效率等维度,通过30+项性能指标,从不同层面分析各车型的实际表现。其中性能指标的设定,既最大限度地考虑了用户的主观感受,也基于车辆在道路上的客观表现,既有定性的判断,也有定量的数据,将用户端的体验与工程端的研发拉通,让基于场景和使用者真实的体验的测评结果,能直接指导智能驾驶的研发工作中,有利于快速提升产品竞争力。
接管时机的选择:在实测中,为了能达到真实用户功能使用的程度,不会刻意去让智驾系统去挑战某些危险场景,我们基于安全第一的原则,从用户正常用车的角度,尤其是考虑到用户当时的第一反应,去考虑是不是接管车辆。
功能重启时机的选择:在每次接管后,会根据现场的路况真实情况,选择是否重新激活城区NOA功能,若判断该路况复杂并存在开启后的危险,我们会选择接管一段路程后,再重新激活,以避免短时间之内同一工况下的反复接管,避免因ODC的限制,导致单一场景中接管次数的重复叠加。
测评人员的统一性:所有参与测评的车辆,皆保证由同一名测评人员驾驶,以保证对交通工况的判断一致。
数据的真实性:为保证最终数据的真实性和公允性,所有车型的测评皆全程录像,以满足后期的数据求证和场景复现。
第三方的独立性:作为独立的第三方,亿欧智库联合外部业内专业技术人员,对测评数据来进行专业和客观的全面性分析。
本次城区NOA的测评路段在上海城区范围,从虹桥品汇出发,最终至张江高科科技园结束,全程约50km,具体路段信息见图3。
第一,优先选择当前市场上具备代表性的头部品牌;第二,已在上海开通城区NOA功能;第三,所选车型在传感器硬件配置上都是基于激光雷达的多传感器融合路线,避免因感知技术路线不同导致的差异。
基于上述原因,最终选定5款车型,分别是小鹏G6 Max、理想L9参数图片) Ultra、蔚来ES7、阿维塔12、智己LS6。
为了系统完整地开展城区NOA测评,我们建立了一套城区NOA测评体系,核心是测评场景和评价指标。
测评场景方面,根据城区NOA功能的用户出行场景,构建城区NOA功能的基础场景和特定场景两大类场景维度,并逐层分解为详细的20多种细分场景。
评价指标方面,针对城区NOA在不同场景的表现,分别从安全性、舒适性、可靠性、通行效率等四大维度,关注30余项参数,形成一套既有用户价值、又有工程价值的评价指标。完整来看,人机交互也是一个重要的维度,但由于本次测评更侧重人-车-路体系中车与路的部分,即车辆在交通环境中的表现,所以本次测评对人机交互不作展开。
测评的意义是从用户日常出行的角度,来考察各车型的城区NOA效果。因此,测评场景也是用户场景,即用户日常出行中所遇到的各种交通场景,是用户使用城区NOA时涉及最多的场景,也是最能体现城区NOA真实水平的场景。
用户场景强调真实性、高频复现性、有效性,与工程测试的use case存在本质区别,用户场景中的元素,是基于用户视角选取和组合的,与客户的真实需求、使用者真实的体验强相关,能直接反映智驾功能在用户端的性能效果。
a. 多种路段,包括通畅路段、拥堵路段、施工路段、人车混行路段、事故路段等;
基础场景是指并非只存在于城区道路的场景,在高速等半开放道路中,也有几率存在。城区NOA的基础场景主要是单车道的场景和变道场景。
根据道路的形态和交通参与者情况,单车道场景能更加进一步分为直道巡航、直道跟车、弯道巡航、弯道跟车四类:
a. 直道巡航:道路几乎无弯曲,车道通畅,前方无车辆,自车能保持直线km/h之间;
b. 直道跟车:道路几乎无弯曲,自车跟随前方车辆行驶,保持特定的车间距离,车速随前车变化;
c. 弯道巡航:道路存在弯曲,车道通畅,前方无车辆,可根据道路结构,调整车速与方向;
d. 弯道跟车:道路存在弯曲,自车跟随前方的车辆行驶,车速与方向,同时受前车和道路曲率的影响。
变道场景也是一种常见的出行场景,是指由于外部环境或导航路线的原因,导致自车需要变换车道行驶的场景。
根据触发变道的原因不同,变道可分为指令变道和自主变道,自主变道是智能驾驶系统发出变道指令的自发变道行为,包含超车变道、地形变道、导航变道等:
b. 超车变道:前车速度太慢,严重影响自车的通行效率,自车主动发起超车变道;
d. 导航变道:导航规划的路线导致自车需要变道,常见于路口和道路分岔的路段。
不过,在测评过程中,尽量不去打断城区NOA系统,而是让系统自行控制车辆。因此指令变道不可能会出现在测评过程中,着重关注的是自主变道场景。
路口场景是城区的代表性场景,车速通常不超过 40km/h,需严格遵守路口各类交通设施的引导和约束。路口的道路形态多样,常见的有十字路口、T形路口、错位路口、环形路口(环岛)、Y形路口、X形路口等。
在路口场景中,城区NOA需完成红绿灯识别、跟车过路口、直行、左转、右转、调头等行驶任务。
城区路况复杂,尤其存在无序穿行的行人、非机动车等高度不确定的因素,导致常常会出现障碍物,需要避免碰撞。
城区NOA应该能通过多种方式避障,通过横、纵向的联动控制策略,满足功能的安全性与流畅性,以及功能体验的连续性。
根据障碍物的移动轨迹,避障场景可大致分为前方纵向侵占车道的场景和前方横穿场景。
a. 前方纵向侵占车道:前方出现障碍物,侵占本车道,导致自车按当前轨迹无法顺利通过的场景,常见的侵占物体包括行人、非机动车、机动车、施工区域锥桶、围墙、栏杆。根据侵占车道的程度,可以有不同的应对方案:车道内绕行或借道避障;
b. 前方横穿:非机动车与行人的无序突然穿行、机动车Cut-in等,横穿的场景有几率发生在任何路段,包括车道中、路口、环岛等,横穿物体危险程度高,应该及时减速避让,必要时考虑停车等待。
行人数量多且密集、移动轨迹难以预测,容易忽然出现,严重干扰车辆行驶,不确定性非常高。城区的人流密集场景主要有公交站台、学校门口、园区门口等。
人流密集场景是城区NOA的重点测评场景,极大地挑战城区NOA系统的环境感知与决策规划能力。
a. 公交站台:有可能会出现行人横穿和“鬼探头”,公交车随时有可能起步并向左变道;
b. 园区门口:办公园区、居民社区、商业区等的出入口,行人横穿、非机动车穿行等现象普遍;
c. 学校门口:未成年人的交通安全意识淡薄,移动轨迹突变,儿童高度低,识别难度大于成人。
由于车流量大、人车混行、红绿灯时间过长等问题导致拥堵,车速受限,只能低速缓慢移动。此时在保持低速跟车状态的同时,需要注意来自行人、非机动车的风险,并注意红绿灯的状态。
城区内的狭小的窄巷道、小路等,通常只允许一台车单向通行,路边存在多种障碍物,如临时停放的两轮车、大石块等,还会有非机动车和行人穿行,导致通行困难。
本次的城市NOA测评,围绕安全性、舒适性、可靠性和通行效率等关键的四个维度展开。
其中,安全性是用户最关注的需求,也是考察城区NOA性能的首要维度;舒适性是直接影响使用者真实的体验的主要的因素,与安全性存在较强的关联和冲突,两者往往是矛盾的,需考虑;可靠性是指系统在不同的场景与工况中,稳定地保持智驾系统性能的能力;通行效率是衡量城区NOA能否高效完成行驶任务的重要维度,是决定用户是否会持续使用城区NOA功能的主要指标之一。
安全性是用户最关注的需求,是智能驾驶的一票否决项。安全性评价指标大多数表现在系统反应能力、车距和车速的控制能力、危险状况下的避障能力等,详见表2。
另外,评价指标通常都是和场景对应的,需要结合场景来应用。表3是安全性评价指标与测评场景的关联关系。
舒适性会影响用户的直观感受,其评价指标大多数表现在车端控制管理系统层面,包括行车与过弯时的车速控制、复杂场景下的车辆控制策略等。
需要注意的是,舒适性与安全性存在较强的关联和冲突,两者往往是矛盾的,需综合考虑。
可靠性的评价指标大多是基于大数据统计的结果,具有统计学意义,大多数表现在系统误退和接管层面、感知误识别、路口行车博弈时的成功率等。
通行效率的评价指标与车端控制有一定关联性,大多数表现在行车与避障的控制能力、功能导航路线下的行驶用时等。
开发模式:蔚小理都采用自研的方式,软件能力掌握在自己手中;阿维塔深度绑定华为的ADS方案,软硬件都由华为提供;智己与Momenta深度合作,共同开发城区NOA方案。
计算平台:蔚小理与智己,统一搭载英伟达Orin-X芯片,也是目前应用最广泛的大算力SoC芯片,其中蔚来ES7的算力最大,智己LS6只搭载1颗Orin,算力最小;阿维塔12搭载华为的MDC810平台,拥有400TOPS算力。
传感器配置:统一配置多摄像头+激光雷达+毫米波雷达,摄像头不低于10颗,激光雷达数量1颗至3颗不等,属于多传感器融合路线 城区NOA实测车型的方案对比
根据前文提出的测评场景和评价指标,基于上海市区一条交通流密集的路线款车型的城区NOA表现。
评价指标包含定性指标与定量指标。其中,定性指标主要是从用户层面,定性地描述更符合使用者真实的体验和感受的事实,是由于从使用者真实的体验的角度,不要消耗更多成本去获得定量的参数,而并非不能获取。
为了便于对比,我们采用MOS方法将定性指标量化成分值,形成可比较的数据。
MOS(Mean Opinion Score),即平均意见得分法,通过打分的形式,将定性的主观感受,转化成定量的数据,是一种常用的主观质量评估方法。MOS方法通过让多个评估者对特定样本的质量进行评分,然后计算平均分值,得出总体的质量评估结果。
分别在不同的出行场景中,记录对应的评价指标,并将实测数据汇总,如表11所示。
从安全性维度来看,小鹏G6、理想L9、阿维塔12的整体表现较好,其中小鹏G6和理想L9的整体数据综合性较好,基本都在数据及格线额外的优点是避障成功率高达72.4%,翼子板上的两颗激光雷达可能在某些特定的程度上提升了车辆的感知能力和安全性。
从可靠性维度来看,5款车对于路口红绿灯的识别准确率基本都接近100%(甚至达到100%),并且路口跟车通过率的表现都较好;其中阿维塔12在整个测试的误退率和接管率的表现较为突出,分别是每10km无误退和每10km仅3.2次接管,再者阿维塔12路口右转通过率达到100%,无保护左转通过率也高达85.7%。
从舒适性维度来看,各车都一定会出现明显偏右的情况,但小鹏G6的车道居中度相对误差较小,不会使得驾驶员感受到较强的邻车道被刮蹭的心里压力;理想L9和阿维塔12在加减速线性程度上表现更好,特别是在路口的停车和起步,刹车不会显得特别重,起步也较为柔和。
从通行效率层面来看,蔚来ES7和智己LS6均没发生偏离导航行驶的情况,整体路径偏差率均为0,能在预定导航路线下完成行程目标。蔚来ES7的通行效率指标整体表现会更好,但部分路段会出现“画龙”的现象,尤其是在过弯减速不及时与过路口居中回调过程的情况。
避障场景是城区NOA的重点关注场景,因此分析一下所测车型的避障失败情况。
在所有避障失败的情况中,“前方有车Cut-in”和“路口会车” 两个场景,是5款车都遇到的场景类型,主要体现为相邻车道的车辆对于自车的施压,造成了驾驶员心里压力的上升,自车没能采取很好的减速避障或者向相反方向远离的策略,以及路车多车博弈时,自车无法像老司机一样,采取更果断地变道(路口无车道线情况下),快速避开多车汇集区域。
其次,对于“路边护栏未避让”, 除小鹏G6由于车道居中表现优异,而没有被影响外,其它4款车都出现了该情况,分析其原因可能是:车体相对较宽,并且部分路段道路宽度相对较窄,然而部分护栏上方会摆放一些城市花草,在垂直空间上占据了部分车道空间;或者部分车辆驶入新路口后,其车道没有完全居中,在调节过程中出现了不稳定的情况。
路口作为城区的典型场景,很大程度上体现城区NOA功能的效果,在此我们也分析一下所测车型过路口失败的情况。
在路口直行时,若跟车,大部分接管发生在会车时的避障不及时或者存在车辆碰撞风险,如果路况较好,5款车基本都能顺利通过路口;若不跟车,失败情况会明显有所提升,会车时的避障不及时、驶入路口后对于车道的轨迹识别不清晰、路口驶出时导航轨迹偏移等情况都会造成过路口失败。
在路口左、右转时,5款车右转的通过率会明显高于左转通过率,其中左转失败的问题大多是相邻的车辆在左转过程中或者汇入新路口时,在没有车道线的情况下,过度靠近自车,而使得驾驶员采取了接管措施;右转失败的根本原因是横向车流量较大,导致自车无法判断合适的驶入时机。
在路口或者窄路调头(U-turn)时,小鹏G6和阿维塔12都能成功完成,但实际次数有限,所以没办法判断车辆实际的U-turn成功率。
5款所测评的车型,都存在超出预期的共性亮点,如变道时的车速变化策略、跟停前车的距离和时机、车速波动范围等,都能达到优秀人类司机的水平。
同时,也存在一些共性的不足需要改进,如变道不打灯、连续变道(1次横跨多个车道)、左转成功率偏低等问题。
在不同的维度和场景中,各款车型的优势和缺点也显而易见,可谓各有千秋,不存在所谓的遥遥领先。我们通过评星级的方式,对所测车型进行整体的评分,如图13所示。
一是,不同车型测评的气象条件存在一定的差异,智己LS6测评当天天气是阴雨天,阿维塔12测评当天有少数时间下雨,其他3款车型是晴天,可能会影响测评结果。
二是,不同车型测评时的交通流存在一定的差异,属于不可控因素,蔚来ES7遇到的车流量最大,智己LS6的车流量最小,其他3款车型的车流量相差不大。
在用户层面,相比于已达到“好用”阶段的高速NOA功能,当前城区NOA功能仍处于“可用”向“好用”的发展阶段,还未达到“拐点”,功能的开发重点是先解决系统的安全性和可靠性问题。目前,各家主机厂的城区NOA功能由于在软件、硬件以及工程化能力上不同,所以功能体验上存在一定的差异,头部主机厂或智驾方案商已达到“可用”的及格线。
由于城区NOA使用场景涉及众多复杂场景,如U-turn、路口多车博弈、路口多车道合并、非机动车和行人横穿等,这些场景在短期内无法快速解决,需待端到端、世界大模型等新技术的应用来解决,因此城区NOA功能将成为主机厂智驾能力的“分水岭”。
从本次的测评数据和结果来看,当前市场上的典型城区NOA方案,在简单场景的表现让人满意,但复杂场景中,尤其是复杂路口和突发障碍物的工况下,还很难保证功能正常运行,对用户接管的依赖程度高。
城区NOA功能已达到“可用”的状态,但距离“好用”“放心用”,还有一定的提升空间,用户仍然需要集中注意力,随时准备接管。
我们也在此呼吁:城区NOA仍属于L2功能,处于人机共驾阶段,安全责任主体在驾驶员,使用时请时刻注意安全,该接管就接管。