目标定位:涉及无分类的目标定位、目标检测和目标实例分割,为机械臂提供目标对象的区域信息。
目标姿态估计:对6D目标姿态进行估计,包括基于对应的方法、基于模板的方法和基于投票的方法,为已知目标生成抓取姿态。
抓取估计:包括二维平面抓取方法和6自由度抓取方法,前者被约束为从一个方向抓取。
视觉抓取中的关键技术
手眼标定:确定相机和机械臂本身的位置关系,分为眼在手上和眼在手外两种方式。
物体识别与定位:使用ROS功能包find_object_2d、TensorflowObjectDetectionAPI、object_recognition等实现物体的识别与定位。
抓取姿态分析:分析抓取物体的姿态,是视觉抓取中的一个难点。
视觉机械臂自主抓取全流程
相机标定:校正相机的畸变,获取真实的空间位置。
手眼标定:将物体的位置从相机坐标系转换到机械臂坐标系中。
物体识别与定位:通过摄像头获取目标物体的位置。
抓取规划与执行:计算机械臂末端执行器的位姿,规划出合适的路径,驱动机械臂抓取物体。
应用实例
工业生产线上的应用
MicroPos机械手视觉定位算法能实现高精度的高度定位和傻瓜式操作,提升了物流行业的包裹分拣效率。
ROS机械臂视觉抓取实验
介绍了基于机器视觉的ROS机械臂抓取系统,强调了准确识别与定位目标物块的重要性。