游戏百科

理想通过AI产品经理与数据部门来让智驾模型自我迭代闭环本文标题没有任何标题党成分

理想通过AI产品经理与数据部门来让智驾模型自我迭代闭环本文标题没有任何标题党成分,准确基于理想2025年11月17日发布的CorrectAD: A Self-Correcting Agentic System to Improve End-to-end Planning in Autonomous Driving西湖大学的Enhui Ma与理想的Lijun Zhou为共同一作,Enhui Ma的工作完成于理想实习期间。论文明确指出PM-Agent是在模拟产品经理的角色(simulate the role of product manager),核心职责不是简单的看见错误,而是深刻理解为什么错了并提出需要什么数据。将DriveSora比作数据部门(similar to the role of Data Department),职能是根据PM-Agent的需求,基于DiT架构生成高保真的训练数据 。不是普通的视频生成,DriveSora 解决了传统生成模型胡乱发挥的问题,实现精准可控。过去面对长尾问题,内核是基于检索,广义的历史数据库里有这个场景就能解决,没有就无法解决,处理思路一般是要么自己派车去收集,要么尝试从用户的实车数据去收据,即内核是去找数据。而理想的思路是造数据,建立一个系统,像人一样理解为什么撞了,然后针对性地自己生成大量类似场景来训练模型。CorrectAD是一个自动迭代闭环系统(Automated Iterative Loop)。自动驾驶领域,开环是基于离线数据的静态回放,算法决策与环境状态解耦,无法改变既定历史;闭环则是在动态仿真中,车辆的每一次操作都会与环境产生交互,并实时改变后续的时空轨迹。理想的工作不仅是仿真验证闭环,而是数据生产与训练闭环。迭代的本质是追求数据分布的对齐(Distribution Alignment),让系统能越来越精准捕捉到真实世界中最难处理的长尾分布。以前的视频生成模型(如Sora或Gen-2)大多是随机生成或者仅靠文字生成,缺乏精确的空间控制,没法直接用于自动驾驶训练(比如车道线画歪了)。CorrectAD是强约束生成:它不让模型随意发挥,而是给生成模型套上了脚镣——3D Layout(三维布局)。系统会提取事故现场的车辆骨架和道路结构,强制生成模型必须在这个骨架上渲染画面。这样生成的视频既保留了真实的物理关系,又能在天气、光照上做变化 。DriveSora设计了三重控制开关:文本控制: 告诉模型现在是暴雨天或前方有异形车。布局控制: 通过ControlNet机制,将3D边框和高精地图信息注入模型,确保生成的车辆位置和车道线是绝对准确的数学真值,而非画面幻觉。多视角同步(Multi-view Attention): 车身通常有6-8个摄像头,生成视频时如果各画各的,就会出现前车头在左边摄像头,车尾却没出现在右边摄像头的幽灵现象。该机制强制所有视角的像素在生成时互相通气,确保空间一致性。在生成过程中,使用了分类器自由引导(Classifier-free Guidance)策略。可以理解为调节旋钮。独立调节前景(车辆)、背景(道路)和文本描述的权重。如果事故原因是没看清路,系统就调高背景+文本的权重,强迫模型生成更多样化的路面纹理,让模型学会应对各种烂路。如果想调整一下DriveSora的参数,需要8张A800 GPU跑72小时,用L40S卡生成一个案例需要4秒。CorrectAD是一个全自动的迭代过程,无需人类干预。失效捕获: 模型在仿真或验证中发生碰撞。归因分析: PM-Agent 介入,判断这是天气原因还是障碍物原因,并转化为文本描述。样本扩充: DriveSora 根据描述和现场骨架,生成N条新的视频数据(比如把晴天撞车的场景改成雨天、雪天、黄昏,但保持车祸轨迹不变)。混合微调: 将这些合成的灾难现场与原始数据混合,对模型进行训练。验证: 模型学会了在该场景下刹车或绕行。论文展示的是三次迭代的效果理想定义D-D为生成数据与验证集失败案例之间的Hellinger距离分布,D-D值越小,说明AI生成的假数据在数学分布上越接近现实中发生的真事故。这是生成式AI在自动驾驶落地的核心指标即以假乱真的能力。越大则说明生成数据只是简单的随机数据,没有抓住真实事故的特征。第一轮迭代D-D值为0.15。第二轮迭代D-D值降至0.11。第三轮迭代D-D值进一步降至0.09。在碰撞率和轨迹偏差(L2 Error)上也是类似效果。理想定义L2 Error指标衡量的是在0秒至指定时刻的时间段内,规划轨迹(planned trajectory)与记录轨迹(recorded trajectory,即真值)之间的距离误差(distance error)。第一轮迭代轨迹偏差平均1.06米,碰撞率平均26%。第二轮迭代轨迹偏差平均降至 1.04米,碰撞率平均降至 22%。第三轮迭代轨迹偏差平均降至 0.98米,碰撞率平均降至19%。论文提到CorrectAD仅将碰撞视为失败案例,忽略了违规变道、压线、违反交通规则等情况。实际上车过程中自然是要考虑这些的。郎咸朋在i8发布会上展示经过18轮以上迭代来实现无碰撞左转过路。