理想端到端之后,整个功能迭代速度确实太快了。
ota 7.0 又是一个大版本,里面有两个重要细节:
1、AI 推理可视化
这个功能首次将智能驾驶模型的思考推理过程以视觉形
式展现,并且展示端到端模型输出轨迹路线能力。
让驾驶员提前理解AI的思考和执行过程。
▪️E2E(端到端模型)展示端到端模型输出行驶轨迹的思考过程
a. 单个窗口中显示自车、其他车辆、道路车道线、轨迹线预测等信息;
b.其中蓝色轨迹线代表模型计算过程中判定的正确轨迹,灰色轨迹线则代表模型计算过程中判定的偏移轨迹;
c. 轨迹线计算共展示10个窗口,每一个窗口代表一种模型输出结果,最终选择一条老司机概率最高的轨迹来执行操作。
▪️Attention(注意力系统)展示车辆感知到的交通和环境路况信息
a. 对实时视频流中的交通参与者行为和环境路况性,并辅助端到端模型计算出最佳的行驶轨迹;
b. 以热力图形式展示注意力系统的工作状态,进行评估,分析其类型、位置、速度、角度等属其中颜色更暖(偏红)的区域代表对智能驾驶决策影响更大的区域,
颜色更冷(偏蓝)的区域代表对智能驾驶决策影响较小的区域。
▪️ VLM(视觉语言模型)展示视觉语言模型的感知、推理和决策过程
a. 当识别到有对智能驾驶决策有影响的环境路况和交通规则变化时,VLM能够及时感知信息,并做出合理的推理决策;
b. 以对话形式展示视觉语言模型的感知、推理和决策过程;
i. 左侧对话气泡显示车辆摄像头感知到的交通和环境路况信息,并将事件发生时的时间点、摄像头图像画面保存下来;
ii. 右侧对话气泡展示VLM的推理过程和最终做出的决策;
c.目前支持VLM思维链可视化的场景有:
夜晚无灯小路、丁字路口、公交车道(无限行时间)、公交车道(有限行时间)、学校路段减速、上下高架时导航纠偏、主辅路切换时导航纠偏、隧道内外、坑洼路面/土路、施工场景、变道、转弯、急减速、驶入匝道、旁边存在大车。
2、高速 端到端
这个结合城区端到端,可以理解为理想正式打通了智驾系统的全场景端到端。
最大的意义是,让城区和高速之间无断点。
所以 7.0 版本理想会推送 全国高速收费站 ETC 通行。
这一次是真正意义上,让车位到车位有了完整的连续性。