（图片来源：venturebeat.com）
该项工作尚在起步阶段，但对于主要依靠摄像头捕获镜头来训练导航AI的自动驾驶汽车公司而言，如Wayve、特斯拉、Mobileye和Comma.ai等，可能颇具前景。
研究人员将无模型和基于模型的AI训练方法的元素组整合到一个图表中，以利用两者的优势，同时弥补两者的弱点。与无模型方法相反，基于模型的方法利用软件代理，试图理解世界并创建表示世界的模型，但有时会由于级联错误而导致性能低下。而研究人员开发的模型学会沿着无碰撞的轨迹导航，同时自我监督，以选择平坦的地形，这样训练数据就会自动被标记。
研究人员使用的越野车基于一辆电动双马达遥控小型车辆而打造，配备机械制动器，可与运行开源机器人操作系统的（ROS）Intel i7 NUC计算机无线连接。该车还配备一个近程激光雷达传感器、一个前向摄像头、一个惯性测量单元，以及一个微控制器，微控制器将所有传感器信息传输给NUC计算机。
在将这辆小车部署到全地形场地中之前，研究小组使用DJI Mavic Pro，从80米的高度拍摄场地的图像，然后提取12m*9m的图像补丁，以便定位和居中。同时，使用四个小车测量的视觉地标，这些图像以0.01米每像素的分辨率拍摄，并在0.1米内对齐。
在训练中，新模型使用惯性测量单元估算地面粗糙度，激光雷达传感器测量车辆与障碍物之间的距离。通过融合车载摄像头图像和本地航拍图像、最近的视觉历史、地形类别标签（例如，“粗糙”、“平坦”、“障碍”），以及一系列转向指令，该模型可以预测在固定视野内的碰撞概率，并据此制定策略。
研究人员在一段超过5.25公里的行驶路线中收集了15,000个数据样本，并进行训练和实地试验，使小车以每小时6公里的速度行驶。试验报告显示，使用前向地面摄像头，导航模型的预测精度达到了60%到78%。而在联合使用航拍图像时，弯道为45度及以上的轨迹预测精度提高了约10%。该策略在平坦地形上行驶的时间为90%，并且与仅使用第一人称图像的模型相比，在粗糙地形中行驶的比例减少了6.1倍以上。