一种基于多模态融合的柔性物体操控策略生成方法

本发明涉及一种基于多模态融合的柔性物体操控策略生成方法，包括：基于人类演示视频，获取目标柔性物体的抓取点二维高斯分布图、三维点云数据和RGB图；基于三维点云数据，获取目标柔性物体的可见性连接图；融合抓取点二维高斯分布图和RGB图，获取融合图；在可见性连接图和融合图中分别提取第一特征和第二特征；融合第一特征和第二特征，获取融合特征；基于融合特征，获取目标柔性物体的最佳抓取点和最佳放置点；基于最佳抓取点和最佳放置点，生成目标柔性物体的操控策略。与现有技术相比，本发明具有改善柔性物体操作的精度、对柔性物体不同状态的适应性强以及减少模拟到现实差距等优点。
同济大学
董延超 | 周昌世 | 周艳敏 | 闫铮 | 蒋烁 | 何斌