搜维尔科技最近跟大家聊了聊MANUS数据手套在Isaac生态系统里的大用处。NVIDIA GTC大会上,他们把Isaac Teleop推出来了。Isaac Teleop是个统一框架,专门用来管在仿真和真实世界里远程操作和收数据的事,它告诉大家怎么把人干的活儿变成机器干的事儿。这事儿反映出机器人圈子里的大趋势,现在不光是模型架构的事儿了,高质量的人类演示数据才是卡住脖子的老大难。NVIDIA的Isaac生态一直在跟着变,提供一套从Isaac Sim仿真、Isaac Lab学习,到Isaac Teleop远程操作的端到端方案。 MANUS这玩意儿进了Isaac Teleop之后,作为个高保真的手部跟踪设备,能把手指头的细动作都抓下来,直接在机器人和仿真里实时用。MANUS手套把手指弯弯、捏合的力度、微调这些小细节都留住了,这样搞工具、抓东西、双手配合这些复杂动作就变得灵巧多了。这就把精细的手部动作塞进了远程操作的流程里。从架构上讲,MANUS是通过专用插件进了Isaac Teleop,当了个输入设备。它的动作用重定向处理一下就变成机器人指令了。Isaac Teleop还在仿真和真实系统间把流程统一了,两边控制和收数据就都能对上号。 MANUS通过它自己的SDK把数据传给Teleop框架。这对用MANUS的人来说特别方便,不用再自己搭一套乱七八糟的管道了,装个插件就能连。这样不仅工作量少了,不同机器人环境也能用一个设置。仿真和真实系统之间也更一致了。用MANUS采的数据拿去学流程特别好,因为保留了细动作的细节。 MANUS把数据交给Isaac Teleop之后,Isaac Teleop就成了连接Isaac Lab模拟、收集数据和学习的大通道。MANUS在这里就是提供一手高保真的手动输入。用Isaac Teleop收的数据进了学习流程,就把精细动作给保留下来了。Isaac Lab里开发的人能拿真人的动作去驱动虚拟机器人的手,先在仿真里把原型搞出来、验证好再部署到实体机器上。Isaac Teleop和Isaac Lab凑一块儿就是一套从演示到训练再到部署的全套流程。 NVIDIA最近搞了个叫EgoScale的研究,专门说了大规模人类数据对训练灵巧机器人有多重要。那时候手指头的细动作就是关键信号。MANUS这种解决方案既能抓小规模的数据,也能支持新的大规模人机交互学习。 搜维尔科技就是搞动作捕捉技术这块的。他们喜欢把技术推向更前沿的地方。这个频道就是想跟大家聊聊他们最近用动作捕捉技术的心得体会。搜维尔科技现在是Manus总部在中国大陆的代理商了,想买产品、问问题或者售后都能找他们。