您的位置: 南京报业网> 互联网 >

谷歌Brain和英特尔与加州大学伯克利分校用视频训练机器人手术AI

2022-02-11 16:12:43    

来自Google Brain,英特尔AI实验室和加州大学伯克利分校的研究人员创建了Motion2Vec,这是一种AI模型,能够从如何进行外科手术训练中学习如何完成与机器人手术相关的任务,例如缝合,穿针,插针和打结。视频。为了测试结果,该模型在实验室中用两臂的达芬奇机器人将针穿过布料穿行。

Motion2Vec是一种使用半监督学习训练的表示学习算法,它遵循类似命名的模型(如Word2Vec和Grasp2Vec)的传统,并使用在嵌入空间中找到的知识进行了训练。加州大学伯克利分校的研究人员以前曾使用YouTube视频来训练经纪人跳舞,做后空翻以及进行各种杂技表演,而Google则利用视频来训练算法来执行诸如生成逼真的视频或使用来自YouTube的人体模型挑战视频来预测深度??的算法。

研究人员说,他们的工作表明,通过向他们提供专家演示视频来教授新的机器人操纵技能,可以改善手术中使用的视频机器人。该论文读到:“结果表明,在最先进的基线上进行分割时,性能得到了改善,同时在该数据集上引入了姿势模仿,每个观察位置的厘米误差分别为0:94。”

有关Motion2Vec的详细信息已于上周在预印本存储库arXiv上发布,并在IEEE国际机器人与自动化会议(ICRA)上进行了介绍。从JIGSAWS数据集中,只有八名控制达芬奇机器人的人类外科医生的视频通过模仿学习教了算法以运动为中心的操纵技能表示。JIGSAWS是JHU-ISI手势和技能评估工作集的代表,它汇集了约翰·霍普金斯大学(JHU)和Intuitive Surgery,Inc(ISI)的视频。

该论文读到:“我们从缝合数据集中总共使用了78个演示。”“但是,每位外科医生的缝合方式都大不相同。”

ICRA的其他值得注意的工作是在网上而不是在巴黎亲自进行的,包括针对下半身外骨骼的步态优化和斯坦福实验室,该实验室设想利用人工智能来利用公共交通来扩展数百架无人机的运输路线。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

编辑:互联网

网站地图  合作伙伴  版权声明  关于本站

南京报业网版权所有,未经同意不得转载、复制或建立镜像

 苏新网备:2212101号 ICP证:B2-20030059 

联系我们:3550235802@qq.com