资讯配图

近日,吉林大学与香港科技大学的研究团队在IEEE Transactions on Robotics (T-RO) 发表了题为《Learning thin deformable object manipulation with a multi-sensory integrated soft hand》的研究论文。

论文提出了一种新颖的解决方案LTDOM),将被动柔顺性、触觉和本体感觉融入到薄型可变形物体的操控中,突破传统机械臂操作精度限制,在真实复杂环境中成功实现了对多类薄型柔性物体的单层分离与抓取任务。

我们开设此账号,想要向各位对【具身智能】感兴趣的人传递最前沿最权威的知识讯息外,也想和大家一起见证它到底是泡沫还是又一场热浪?

欢迎关注【深蓝具身智能】👇

资讯配图

研究挑战

精准分离和抓取薄且可变形物体

现实中大量操作任务(如翻书、整理衣物、包装分层等)要求机器人精准操控厚度最小仅为0.05–0.1毫米的单层物体——这一精度远远高于常规工业机械臂的定位误差范围。传统机器人依赖刚性执行器与精确控制逻辑,面对薄而柔软的物体时,常常无法兼顾以下目标:

  • 对多变物体表面形态的适应能力

  • 保持稳定而不过载的接触

  • 避免物体损伤或多层夹取

  • 准确执行单层分离与抓取

LTDOM的目标正是破解这个难题——

其核心思想是赋予机器人一种不精确的灵巧性Imprecise Dexterity)”即尽管控制、运动和感知方面存在不精确性,但仍能通过稳健且自适应的行为执行灵巧操控的能力。

资讯配图

技术演进

FlexFlip→Flipbot→LTDOM

该研究是团队「连续七年」在薄柔性物体操控方向深入探索的结果

2019 | FlexFlip

FlexFlip¹提出基于柔性欠驱动手的操作框架,机器人首次通过双指从桌面“捏起”纸张,替代了以往吸附或铲起的笨重手段,验证了被动顺应结构在柔性物体操控中的潜力。

资讯配图

FlexFlip

2023 | Flipbot

基于FlexFlip 中的软性欠驱动手,发布了Flipbot²,构建视觉-本体感知联合探索系统,引入无模型强化学习框架,机器人可逐页翻动书籍。

资讯配图

Flipbot

2025 | LTDOM

最新研究LTDOM系统,整合触觉、视觉与F/T传感,构建多感融合的深度策略网络,在复杂真实环境下实现高效泛化。

系统具备多个亮点:柔性欠驱动手指、主动感知滑动模块、高效的现实世界学习策略。

资讯配图

LTDOM整体框架

柔性欠驱动手指

  • 采用基于TPU材料3D打印的柔性气动指,天然具备形变吸收与接触缓冲能力

  • 支持对不同材料(如织物、塑料、纸张)施加刚刚好的力,避免损伤或滑脱

  • 每个手指配备高分辨率触觉传感器(由多阵列小孔成像构建),提供局部接触纹理与形变信息

  • 手腕处集成F/T传感器,实现肌肉本体感知,捕捉整体受力趋势

主动感知滑动模块

  • 在执行抓取动作前,机器人主动进行滑动探索

  • 模块由视觉输入驱动的神经网络控制,学习从右上角滑动翻页等人类启发式策略

  • 有效降低策略搜索空间,并在滑动中收集关于摩擦、刚度、层间分离性等物理隐变量的信息

高效的现实世界学习策略

  • 解耦的双层动作空间

  • 引入自动奖励计算机制,通过识别翻页页码或读取布料二维码判断是否成功,无需人工打标签

  • 滑动初始位姿生成模块,主动提供探索起点

  • 配置自动回收与环境重置机制,例如纸张与布料复位,使机器人能在现实中持续训练、快速迭代

资讯配图

配备了触觉传感器的软性欠驱动手指

资讯配图

实验验证

LTDOM系统经受了多个挑战性测试场景

协助小提琴手演出期间翻乐谱

机器人在表演期间协助小提琴手翻乐谱

翻动涂层纸、塑料纸、宣传册等高反光或滑面材料

机器人逐页翻书

翻动涂层纸、塑料纸、宣传册等高反光或滑面材料

资讯配图

展开厚度各异的西装布料、酒店毛巾与T恤

资讯配图

机器人在未见过的物体上实现泛化

尤其值得一提的是:整个策略仅在打印纸和冬季面料上训练,测试阶段对其他物体无任何微调,展现出极强的泛化能力。

此外,该系统自2023年起作为长期展示项目,已在香港科技大学郑家纯机器人研究院接待上百批访客。

资讯配图

各界访客

资讯配图

结语

这篇研究为机器人操控轻薄可变形物体开辟了新路径。软手的被动柔顺性、多传感器融合与强化学习的结合,让机器人在翻乐谱、展布料等精细任务中展现出 “非精确灵巧性”从单一层到混合材料,从平面到倾斜场景,其泛化能力在实际测试中表现稳定。

作者|赵超

审编|具身君


Ref

论文标题:Learning thin deformable object manipulation with a multi-sensory integrated soft hand

论文作者:Chao Zhao, Chunli Jiang, Lifan Luo, Shuai Yuan, Qifeng Chen, Hongyu Yu

论文主页:https://arxiv.org/pdf/2411.13952

1. Dynamic Flex-and-Flip Manipulation of Deformable Linear Objects

2. Flipbot: Learning Continuous Paper Flipping via Coarse-to-Fine Exteroceptive-Proprioceptive Exploration


资讯配图【深蓝具身智能读者群】-参观机器人
欢迎各位粉丝朋友,加入深蓝具身君的读者群,具体参观开放日时间将在群内陆续通知。
扫下方二维码,添加具身君;通过验证后,加入群聊:
资讯配图

我们开设此账号,想要向各位对【具身智能】感兴趣的人传递最前沿最权威的知识讯息外,也想和大家一起见证它到底是泡沫还是又一场热浪?‍

欢迎关注【深蓝具身智能】👇

资讯配图
1、开放世界导航新范式!港科大成果突破:基于LLM规划的长序列目标导航任务
2、登顶 ICCV 2025!清华大学提出统一具身智能导航框架:主动感知、三维视觉-语言理解
3、具身智能30年权力转移:谁杀死了PID?大模型正在吃掉传统控制论的午餐……
资讯配图

【深蓝具身智能】的原创内容均由作者团队倾注个人心血制作而成,希望各位遵守原创规则珍惜作者们的劳动成果,转载添加下方微信进行授权,发文时务必注明出自【深蓝具身智能】微信公众号,否则侵权必究⚠️⚠️


投稿|寻求合作|研究工作推荐:SL13126828869


资讯配图

点击收藏并推荐本文