面对高温暴雨的天气，四周堆砌的集装箱，港口的自动驾驶卡车仍要保持24小时不间断的作业计划。夜间的安全运输，无疑对任何一辆自动驾驶卡车来说，挑战巨大。这就需要一双智慧的“眼睛”精准识别并避开障碍物。
卡车的“慧眼”功能来自于3D检测技术。在自动驾驶领域，它是实现环境精准感知的关键支柱，为车辆运行做出安全决策。现有的3D检测方案中，单目摄像头因为部署简单、成本较低而通用，但难以估算复杂场景中的深度信息，存在一定安全隐患。而采用立体摄像头，也并非完美。
3D检测技术助力 自动驾驶车辆“理解”并“感知”周围环境
虽然它模仿人类双眼成像原理，通过“视差”计算深度信息解决部分问题。但面对强光变化或动态物体的干扰，对于远距离或小物体的感知精度欠佳。这好比车辆会常常因为“视力不佳”影响作业安全与效率。因此，提升深度感知的精度和鲁棒性，成为3D检测技术的重要挑战。
一场“视力”升级的考验
假如这项技术难题被攻克，带来的不仅仅是安全性、自动化效率，还能创造降本，加速智能化的进程。这无疑是一项值得探索的创新行动。对此，西井科技联合同济大学，研发了一种全新的3D检测法——立体金字塔变压器（Stereo Pyramid Transformer，SPT），为自动驾驶的“慧眼”赋予了全新的视角以及更清晰的视野。
在今年的IROS（IEEE/RSJ国际智能国际智能机器人与系统会议）学术会议上，双方共同就研究成果发布了一篇论文《3D Object Detection via Stereo Pyramid Transformers with RichSemantic Feature Fusion》（《通过立体金字塔变换器和丰富语义特征融合的3D目标检测》），并被IROS官方收录及正式发表。
荣获IROS官方收录及正式发表 并在IROS 2024国际顶尖学术会议上广受关注
SPT的创新在于多层“金字塔”结构，通过逐层提取和融合图像特征，使模型具备深入理解和处理复杂信息的能力。这一结构使得每一层都能专注于特定的图像区域，捕捉到更细致的场景细节。同时，语义注意力机制帮助模型理解物体之间的空间关系，为自动驾驶车辆规划最优路径提供有力支持。
定性结果表明 SPT检测算法准确地定位了物体
此外，SPT还创新地结合了双目检测与单目深度预测，将双目摄像头与单目摄像头的数据融合，以更高的深度感知精度应对复杂环境。即便在大雨或或雾霾等恶劣天气，它依然能够整合多视角的图像数据，保持稳定高效的检测性能。
技术验证的里程碑成果
在KITTI和自有数据集上的测试表明，SPT在复杂环境中的表现力远超以往的3D检测技术。它的检测准确率达到85.14%的mAP3D，足以证明其在多种环境中的稳定性。在严苛的消融实验中，我们的研发人员明确了各模块的贡献，进一步明确了“深度信息”对于模型构建的重要性。
注：KITTI公开基准数据集实验结果
注：消融实验结果
即使在极端测试条件下，如严重遮挡和复杂光照下，SPT仍能精准识别目标物体，显示出其对动态环境的强适应性。同时，我们深度误差分析表明，SPT的像素平均深度估算误差显著低于其他模型，从0.25降至0.1567米，为空间位置估计提供了可靠的技术支持。
西井新能源自动驾驶重卡E-Truck应用于海港运输
西井新能源无人驾驶牵引车Q-Tractor应用于机场货站运输
西井无人驾驶重卡Q-Truck 参与工厂及园区运输作业
在实际海港场景应用中，SPT的检测能力得到了充分发挥。有了它的助力，西井自研的新能源商用车E-Truck（自动驾驶重卡）、Q-Truck（无人驾驶重卡）以及Q-Tractor（无人驾驶牵引车）等，不仅能看清远方的环境情况，还能及时识别周围空间并做出精准判断。这些车辆可以在空港、陆港、铁路港、工厂及工业园区等复杂场景中流畅运行，有效避免潜在的车辆或设备碰撞风险，确保运输任务的安全高效完成。
产学研驱动自动驾驶向前
西井科技与同济大学的产学研合作，是理论技术与实际应用的有效结合，确保了这项3D检测新技术的可靠性。这一创新方案在成本控制与精准度上取得了良好平衡，为未来的大规模应用奠定了基础。
目前，SPT主要搭载在西井科技自主研发的双目摄像头，除了安装在自动驾驶及无人驾驶重卡上，还被应用于场景化智能识别的货物检测。随着软件系统不断迭代，这双敏锐的眼睛也将不断进化，提升感知识别的精准度及自动化效率。也对环境安全、可持续发展做出重要贡献。
西井科技自研双目摄像头应用于车端及场景智能识别
在全球大物流领域，西井科技以“智能化、绿色化”为目标，不断加强新智能、新能源的技术创新与场景应用，推动多场景的可持续转型与环保升级。SPT的实践成果，不但代表了西井在自动驾驶研发的竞争力，更是为绿色物流的高效进化提供了强大动力与安全保障。
CONTACT US
ICC APP
