“多模态大模型”AI安全员：实时处理图像数据，识别危险场景
多模态大模型是人工智能技术的一个关键进步，它将文本、图像、音频、视频等多种数据形式整合进统一的框架中，具备跨模态理解与生成能力，能够执行图像描述、视觉问答、视频生成等多种任务。依靠先进的多模态大模型技术，无人驾驶中的 AI 安全员能够对车辆运行过程中的相机图像进行实时处理与分析，识别出车辆行驶时遇到的危险场景和异常情况，为无人驾驶提供安全保障。
算法难以100%覆盖的长尾场景，AI安全员从容应对
无人驾驶车辆行驶过程中，除了需要与常规的交通参与者产生交互，还需要应对稀有而复杂的长尾场景。它们的发生概率很低，但一旦出现，会对自动驾驶系统带来巨大挑战。仙途智能无人驾驶清扫车作业时通常会贴边行驶，常见的长尾场景包括不规则的路面坑洞、临时的施工区域、偶发的交通事故等。
长尾场景之所以重要，是因为它们代表了自动驾驶系统必须能够应对的罕见但危险的情况。对于人类驾驶员来说，处理这些边缘情况往往基于直觉和多年的经验积累。对于自动驾驶系统来说，为了在遇到这些罕见情况时仍能安全地操控车辆，需要大量的数据和复杂的算法来模拟人类的决策过程。但由于现实世界复杂多变，算法难以 100% 覆盖全部场景，此时就需要 AI 安全员介入，利用与人类相似的知识与经验理解场景、保证安全。
AI安全员应用实例：理解场景，给出建议
仙途智能基于历史接管数据与闭环仿真数据，利用大模型标注与人工对齐，构建了决策规划的异常数据集。在仙途智能常态化运营真实数据的不断充实下，多模态大模型的AI安全员将能够更加准确地理解场景并给出驾驶建议。
来看几个实例。绿色框线代表无人驾驶车辆的规划轨迹（Planning Trajectory），红色框线代表无人车的关注区域（Region of Interest）。左上角黑色框线中的内容代表AI安全员对当前场景的理解和判断，包括天气情况、场景标签、驾驶建议等。
仙途智能AI安全员场景实例案例集锦
突然发生的交通事故
无人驾驶清扫车正沿右侧辅道执行左贴边作业。雨后路面湿滑，外卖骑手在高速行驶时突然滑倒，非常危险。系统提示交通事故（Traffic Accident）状态码，并预警可能需要远程介入。所幸骑手无大碍，缓慢起身，系统提示减速慢行，小心行驶。
临时交通管制及施工区域通行
无人驾驶车辆辅道作业过程中，同时遇到辅道地面施工及主道高空作业，交警上前疏导交通。系统提示交警管控（Traffic Police Control）及施工区域（Construction Area）状态码，并预警可能需要远程介入。在远程运营的协助下，无人驾驶清扫车从主道第二车道绕行。
应急车辆交互
无人驾驶车辆正沿快速路辅路右侧执行贴边清扫任务，一辆闪烁警示灯的救护车突然出现在视野中并停靠在路边，代表着附近存在人员伤病的紧急情况。系统给出应急车辆（Emergency Vehicles）状态码，提示需要远程介入，同时在确保安全的情况下，车辆减速避让并变道绕行。
弱势道路使用者交互
无人驾驶清扫车正沿右侧辅道执行无人清扫作业，由于道路右侧的临停机动车，辅道十分狭窄，仅容一辆车通行。此时发现左侧有孩童和蹲坐的行人，系统提示高风险行人（High-Risk Pedestrians）状态码，表示需要减速慢行并预警可能需要远程介入。在高精度的感知和规划下，无人驾驶清扫车略微向右避开行人缓慢通过。
AI的安全托底：人类远程安全员多途径辅助脱困
部分紧急和极端场景下，AI安全员将给出请求远程介入的通知指令，主动告知人类远程安全员。远程安全员可以通过高清视频流（前视角及环视角实时画面）和实时传感器数据（高精地图、各类障碍物识别、路径规划等）获取车辆周边环境信息，使用多种挪车方式辅助车辆脱困。目前，仙途智能无人驾驶车辆已支持基于远程运营系统的参考线挪车、方向盘挪车、APP挪车和驾驶舱挪车，为车辆提供在紧急和极端场景下的安全托底和额外保障。
远程辅助驾驶系统操作界面
云端大模型作为AI安全员的使用，极大程度提升了无人驾驶车辆针对长尾场景的识别和理解能力，提高人类远程安全员的工作效率，为远程1vN规模的不断扩大夯实技术基石，全面扩展仙途智能全球化商业版图。
未来，仙途智能将以更加开放的姿态，不断吸纳整合前沿人工智能技术和算法，通过持续创新突破，全方位提升无人驾驶技术的安全性与稳定性，为无人驾驶技术商业化的迅猛发展打造坚实的技术壁垒，为全球无人驾驶技术发展和产业变革贡献卓越力量。
CONTACT US
ICC APP
