来源：3D视觉工坊

添加v：dddvision，备注：工业3D视觉，拉你入群。文末附行业细分群

论文题目：RoboCup 2023 Humanoid AdultSize Winner NimbRo: NimbRoNet3 Visual Perception and Responsive Gait with Waveform In-walk Kicks

作者：Dmytro Pavlichenko, Grzegorz Ficht等

作者机构：Autonomous Intelligent Systems, Computer Science Institute VI, University of Bonn, Germany

论文链接：https://arxiv.org/pdf/2401.05909.pdf

本文介绍了团队NimbRo在RoboCup Humanoid AdultSize League足球锦标赛中取得的胜利，并详细描述了人形足球系统的升级。这些升级涉及视觉感知的模型架构更新、扩展的融合角度反馈机制、额外的COM-ZMP控制器以提高行走稳健性，以及通过波形实现的参数化行走踢球。这些改进旨在使团队更具竞争力，朝着2050年击败FIFA世界冠军的目标迈出坚实的一步。

读者理解：

本文详细介绍了团队NimbRo在RoboCup 2023中改进的人形足球系统。通过硬件平台升级、深度学习视觉感知的创新以及步态生成与控制的优化，团队取得了显著进步，赢得了主要足球锦标赛和Drop-In比赛。引入NimbRoNet3视觉模型提高了对足球比赛环境的实时感知能力，而改进的步态生成和控制机制增强了机器人的稳定性和足球技能。这些创新对机器人在复杂比赛中的表现具有重要意义，为实现RoboCup愿景迈出了关键一步。

1 引言

本研究针对RoboCup愿景进行了系统升级，其中包括感知流程、角度反馈机制、控制器和步态等方面的改进。引入了一种新的对手机器人姿势估计模型，扩展了融合角度反馈机制，并引入了COM-ZMP控制器以提高行走稳定性。通过基于五质点控制原理的新步态，增强了对冲击的弹性。最终，通过波形实现了参数化的行走踢球公式，提高了踢球的力度和调整的便捷性。这些升级使得团队在RoboCup 2023中表现更为出色，最终赢得了Humanoid League的AdultSize足球比赛。

2 方法

本文围绕RoboCup Humanoid League的足球机器人比赛，介绍了团队NimbRo在2023年比赛中取得的胜利以及其在人形足球机器人系统方面的升级和创新。主要贡献包括：

机器人硬件和平台：

• 使用了NimbRo-OP2和NimbRo-OP2X人形机器人平台，具有18自由度（DoF），包括每条腿5DoF，每只手3DoF，颈部2DoF，共有34个Robotis Dynamixel驱动器。

• 采用4杆腿平行链接增加了矢状平面的刚度，但在相对于躯干的俯仰方向上牺牲了足部的倾斜度。

• 配备了强大的Intel四核CPU和Nvidia GPU，以及CM740微控制器板，搭载了6轴IMU（3轴加速度计和3轴陀螺仪）。

• 控制架构基于ROS，采用了成本较低、易于维护的硬件和开源软件。

深度学习视觉感知：NimbRoNet3

• 引入了NimbRoNet3感知模型，用于单个5MP Logitech C930e摄像头的高分辨率视野中检测足球比赛中的关键对象，包括球、球门和机器人。

• NimbRoNet3采用卷积神经网络，同时进行对象检测、场地边界和线条分割，以及附近机器人的姿势估计。

• 通过使用波形设计进行实时感知，实现了对游戏环境的高效感知，提高了机器人对足球场上相关对象、场地线条和边界的准确感知。

核心动作组件：行走和踢球

• 保持了基于中央模式生成器（CPG）的步态生成方案，通过反向运动学计算关节轨迹，实现了自稳定且全向的步态。

• 使用融合角度反馈机制，估计机器人的状态，包括身体倾斜、腿部支持等，实现对机器人状态的闭环控制。

• 采用柔性波形设计的踢球技术，通过在线修改波形参数，实现更强有力的踢球效果，并通过迭代在机器人上进行调整，提高了踢球的效果和稳定性。

高层次游戏控制和足球行为：

• 引入了两个有限状态机（FSM）来实现高层次的游戏相关行为和足球技能。

• 游戏FSM负责处理高层次的游戏相关行为，例如在比赛开始时移动到起始位置、等待对手进行投球等。

• 足球行为FSM定义了具体的足球技能，包括寻找球、接近球、踢球、避开障碍物、与队友沟通等。

总体而言，本文通过硬件平台的升级、深度学习视觉感知的改进以及核心动作组件的优化，使NimbRo团队的人形机器人在RoboCup 2023中取得了显著的进步，赢得了Humanoid League的AdultSize足球比赛。这些创新使机器人更加灵活、自主，并能够实时感知和适应复杂的足球比赛环境。

3 总结

通过引入NimbRoNet3视觉感知模型、扩展融合角度反馈机制、新增COM-ZMP控制器以及基于波形的参数化踢球公式，我们成功改进了人形足球系统。这些改进不仅使我们再次在RoboCup比赛中获胜，还提高了机器人的稳定性、远距离进球的可靠性，以及在技术挑战中的表现。总体而言，这些创新加强了我们的机器人在复杂比赛环境中的表现，为实现RoboCup愿景迈出了重要的一步。

下载

在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理v：dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。