作者：小柠檬 | 来源：3DCV
添加微信：dddvision，备注：机器人导航，拉你入群。文末附行业细分群
标题：NeuPAN: Direct Point Robot Navigation with End-to-End Model-based Learning
论文：https://arxiv.org/pdf/2403.06828.pdf
代码：https://github.com/hanruihua/NeuPAN
1、导读
在杂乱无章的环境中导航非整体机器人需要极其准确的感知和运动以避免碰撞。本文介绍了NeuPAN：一种实时、高精度、无地图、与机器人无关且环境不变的机器人导航解决方案。NeuPAN的关键是利用环路中神经元的即插即用（PnP）近端交替最小化网络（PAN）求解具有各种点级约束的高维端到端数学模型。实验表明，NeuPAN在各种环境的准确性、效率、鲁棒性和泛化能力方面都优于各种基准。我们也表明了，NeuPAN在具有任意形状无法检测的物体的非结构化环境中工作良好，使无法通行的方式变得可以通过。
3DCV
15
图1
图1：(a)NeuPAN在没有事先地图的情况下导航轮腿机器人。(b)机器人导航穿过狭窄的间隙（<6cm）；(c)NeuPAN以“点进点出”方式运行，频率为20Hz；(d)NeuPAN泛化到处理分布外（移动）对象。(e)NeuPAN驱动的轮腿机器人的轨迹。
2、创新点
利用紧密耦合的感知-运动框架，与现有方法相比，NeuPAN有两个关键的创新：
它直接将原始点映射到学习的多帧距离空间，避免了从感知到控制的误差传播
从端到端的基于模型的学习角度来看，它是可解释的，可实现可证明的收敛
3、NEUPAN
图2：NeuPAN的系统架构
NeuPAN系统概述如下：
问题定义：考虑一个LiDAR点云输入和机器人动作输出的导航系统。系统需要从点云中规划出机器人的轨迹。
NeuPAN系统架构：系统包含三个模块：
变换模块：通过将点云与候选位姿进行变换，生成点流。
学习模块：使用深度展开神经网络DUNE将点流映射到多帧距离特征。
模型模块：将多帧距离特征嵌入运动规划优化问题中，生成机器人动作。
理论解释：整个系统可看作是DUNE和NRMP算法的迭代过程，等价于使用PnP PAN算法求解端到端的数学规划问题。
实时性：NeuPAN系统可以在20Hz的频率下实时运行，实现点云到机器人动作的端到端规划。
创新点：NeuPAN系统创新点包括：
直接处理点云，避免误差传播
从模型学习角度解释导航算法，结合数据驱动与数学模型
生成可解释的端到端物理运动
综上所述，NeuPAN系统是一个实时、高精度、无地图的机器人导航解决方案，通过点云直接生成可解释的机器人动作。
4、NRMP
该部分介绍了NeuPAN系统中的神经正则化运动规划器(NRMP)。该规划器的主要功能包括：
运动规划模型：利用模型预测控制(MPC)来显式地建模机器人的运动动力学，以产生符合机器人运动约束的轨迹。
神经正则化项：将DUNE模块学习到的多帧距离特征作为正则化项嵌入运动规划问题，以计算避障奖励，避免碰撞约束的近似或正则化带来的误差。
参数化优化网络：采用参数化优化网络(LON)的方法，将运动规划问题转换为可微凸优化问题，实现端到端训练整个NeuPAN系统。
学习优化参数：利用不同场景下的失败数据来学习优化LON中的参数，如参考速度、安全距离等，实现参数的自动调整。
动态安全距离正则化：引入动态安全距离正则化项，使安全距离能根据环境动态调整，以适应变化的环境。
通过以上功能，NRMP实现了从距离特征到避障运动的映射，并可以学习调整参数，以适应不同的机器人平台和环境，是NeuPAN系统中至关重要的组成部分。
5、算法
本文所涉及的算法如下：
算法 1：深度展开神经编码器
算法2：基于DPP的NRMP
算法 3：NeuPAN
6、实验
路径跟踪：NeuPAN在路径跟踪场景中展示了在密集障碍物环境中更准确的导航性能，相比于需要将激光扫描转换为框或凸集的模块化方法。
非凸、动态和停车场景：NeuPAN在非凸、动态和停车场景中进行了验证，展示了其在处理复杂、非凸、非结构化障碍物方面的能力。
在线参数微调：展示了NeuPAN通过在线参数微调提高性能的能力，仅需要调整后端规划器中的少量参数，而不需要重新训练前端编码器。
计算时间：分析了NeuPAN的计算时间，发现DUNE大大降低了优化软件的计算时间，NRMP在数百个点级正则化下实现了低于50ms的计算时间，使得NeuPAN适用于实时应用。
动态环境：在动态环境中进行了仿真实验，结果显示NeuPAN在成功率、导航时间和平均速度方面优于基于强化学习和优化方法。
结构化环境：进行了结构化环境中的实际实验，NeuPAN展示了在不同类型的机器人上的有效性，包括差动驱动机器人和阿克曼机器人。
非结构化环境：在非结构化环境中进行了测试，NeuPAN使机器人能够实时导航通过高度杂乱的环境，如实验室，展示了其精确距离感知和高精度运动规划能力。
NeuPAN与RDA规划器在路径跟随场景下的导航流程及轨迹对比NeuPAN 在两种类型机器人上的各种场景下的验证KITTI和SUCAPE数据集上的距离误差比较Gazebo模拟中不同数量移动障碍物的动态环境导航Gazebo仿真中不同方法的轨迹和速度对比定量结果在现实世界测试台中导航差速器和阿克曼机器人非结构化杂乱环境中的机器人导航敏捷移动机器人在办公室导航任务期间的轨迹、线性和角速度曲线办公室里的轮腿机器人探索轮腿机器人在探索任务中的轨迹、线速度和角速度变化卡拉客运车辆导航使用箱子、人体模型和其他车辆在停车场进行客车导航的真实实验客车狭窄通道导航真实实验
综上所述，通过仿真和实际实验验证了NeuPAN在各种场景和机器人上的有效性，证明了其在精度、效率、鲁棒性和泛化能力方面的优势。
7、结论
根据这项研究，我们可以总结如下：
本文提出了NeuPAN，这是一种端到端的基于模型的深度学习方法，用于机器人导航。
NeuPAN通过DUNE和NRMP两个模块实现了从原始点云直接映射到机器人动作的端到端框架，避免了感知和控制之间的误差传播。
DUNE模块利用深度展开神经网络将点云映射到距离特征，而NRMP模块将距离特征作为正则化项嵌入到运动规划优化问题中，生成避障的机器人动作。
实验证明，NeuPAN在各种机器人平台和场景下表现出色，具有高精度、高效率、强鲁棒性和良好的泛化能力。
NeuPAN能够实时生成感知驱动的、物理可解释的运动，使自主系统能够在以前被认为无法通过的密集环境中工作，开辟了新的应用场景，如拥挤房间清洁和有限空间停车。
与现有方法相比，NeuPAN提供了数学保证，降低了不确定性，并具有更高的泛化能力。
总体而言，NeuPAN实现了端到端的高精度机器人导航，为机器人导航领域带来了重要的进展。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程：
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪。
3D视觉学习圈子
3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星
3D视觉交流群
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机等方向，细分群包括：
工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。