大模型风起云涌,正在从虚拟世界进入现实世界。谷歌DeepMind日前推出 Robotic Transformer 2(简称RT-2)大语言模型,让人类可以通过纯语言命令优化机器人控制,迈出了重要一步。
不同于此前的大模型,这是一个“视觉-语言-动作”(vision-language-action,简称VLA)模型。业界认为,谷歌此举是想打造可以适应人类环境的通用机器人,类似于机器人瓦力或者C-3PO。
【资料图】
谷歌RT-2无需针对特定任务专门训练
当人类需要学习某项任务时,往往会通过阅读和观察来实现。RT-2有点类似,它用到了大语言模型(也就是驱动ChatGPT的技术)。RT-2从网上寻找文本和图片,然后训练模型,即使没有针对特定任务专门训练过,RT-2也可以识别模式和动作。
举个例子,按谷歌的说法,在没要经过特别训练的前提下,RT-2可以识别并扔掉垃圾。RT-2会理解垃圾是什么,了解如何处理,然后完成一系列动作。RT-2甚至知道食品包装纸或香蕉皮也是垃圾。
谷歌工程师甚至说,向RT-2下达一条命令,让它捡起已经灭绝的动物,RT-2机器人可以从三个雕像中找出恐龙。
放在以前,如果想让AI处理垃圾——无论是识别垃圾、捡起垃圾还是扔掉,都要专门训练。RT-2不太一样,它从网络数据中获得大量知识,已经知道垃圾是什么,能够识别垃圾,不需要专门训练。
又比如要让AI机器人捡起苹果,先要训练机器人,让它知道苹果的一切,比如苹果是如何生长的,它的物理特点有什么;不只如此,还要在环境中识别苹果,不能将苹果和红球混淆;还有最重要的,AI要知道如何将苹果捡起来。
谷歌RT-2是打造通用机器人的一大步
一般来说科学家会用大量人工获取的数据点来训练机器人AI,为了覆盖每一种可能场景,训练时会消耗大量时间和成本。现实世界纷繁多变,机器人助手如果想变得实用,必须正确应对那些不太可能编程的场景。
在开发RT-2时,DeepMind深入挖掘变形AI模型的优点,这种模型拥有很强的概括能力。RT-2借鉴了谷歌早期开发的AI,比如PaLI-X和PaLM-E。有了RT-2模型,机器人可以处理摄像头图像,对应该执行的动作进行预测。
谷歌发现,如果是训练过的任务,RT-2试验6000多次后效果便与RT-1一样好。如果是没有训练过的任务,RT-2的表现比RT-1好一倍。简单来说,谷歌认为RT-2在学习新场景新任务时表现更好,虽然它仍不完美。
DeepMind的目标是打造通用机器人,但谷歌也承认还有很多研究工作要做,不过RT-2应该是正确的研究方向。如果RT-2真的能变得完美,人类可以向机器人下达“文字命令”,让机器人按指令行动。
谷歌RT-2可以像人类一样将学到的知识用于新场景
RT-2最大的突破在于,它从网络数据中学习基本概念和构想,然后将学到的知识用来指挥机器人完成动作,让机器理解甚至“说出”它们的操作语言。
要让机器人在多变的环境中执行通用任务,它必须管理好复杂抽象任务。如果是之前没有遇到的过的环境,更是需要机器人正确应对。
聊天机器人纯粹在虚拟世界运行,机器人不一样,它存在于真实世界。机器人要理解抽象概念,在实际、物理环境中应用。
在RT-2出现之前,机器人依赖复杂系统堆栈来运行,也就是高级推理系统与低级操作系统联合作战,让机器人正常运转,这种方法有些笨重!RT-2简单一些,它将复杂推理与动作输出整合到一个模型。
RT-2的最大特点在于:它从语言和视觉训练数据中学习概念,将概念变成机器人动作,即使是之前没有训练过的任务,它的处理能力也更强。简言之,RT-2可以像人类一样,将以前学到的概念应用于新场景。
谷歌的研究似乎在告诉人类,AI正在以更快的速度影响机器人。开发多功能通用型机器人是人类的一个梦想,希望RT-2能带来突破。(小刀)
标签:
大模型风起云涌,正在从虚拟世界进入现实世界。谷歌DeepMind日前推出Ro
瓴寓国际自2019年提出深耕大型租赁社区赛道,截至2023年6月,全国在管
以下是财信发展在北京时间8月8日09:40分盘口异动快照:8月8日,财信发
8月7日下午,由上海市科学技术委员会、上海市农业农村委员会、奉贤区人
在学习贯彻习近平新时代中国特色社会主义思想主题教育中,湖北省以强化
2023年8月7日广西广电融资净偿还201 14万元,融资余额1 49亿元
0471房产来为大家解答以上的问题。孩子早恋怎么办和怎么开导,孩子早恋
央广网哈尔滨8月7日消息(记者庞淼实习生何瑶)洪涝灾害是一种常见而严
美联储在固定利率逆回购操作中总计接纳了102个对手方的1 811万亿美元:
【8月7日龙虎榜:1 33亿抢筹省广集团机构净买入13只股】日内上榜龙虎榜
据杭州市气象台预报,受强对流云团影响,主城区、临平、临安等地已出现
相信有很多小动物之星童鞋想知道小动物之星雪花风车装饰详细,那么今天
大家好,今天是8月7日,三大指数全天低开低走,创业板指领跌,两市超34
青原区气象台2023年08月07日18时10分发布大风蓝色预警信号:预计未来6
杏仁止咳茶的泡法材料:杏仁3克,熟黑芝麻15克,甘草2克,冰糖适量。泡
【美国核聚变实验再次实现能量净增益但仍与商业聚变相距甚远】外媒8月6
中国物流与采购联合会今天(7日)公布了7月份中国电商物流指数。受益于
驱动中国2023年8月7日消息,据彭博社的报道,苹果公司预计将在今年9月1
ST金圆(SZ000546,收盘价:6 68元)8月7日晚间发布公告称,截至本公告
近日,深圳中招录取工作正有序进行高中录取通知书纷纷亮相这些通知书可
【逻辑】美联储理事鲍曼表示,可能需要进一步的加息,才能使通胀率走上
消息并未直接指向iPhone15系列发布会,但该报道称,如果不如意外的话,
自行车产业调查2022年,国内自行车总产量超过5100万辆,这些车首尾相连
根据省人力资源社会保障厅、交通运输厅、水利厅《关于2023年度监理工程
传卫蓝新能源将在2025年公开上市盖世汽车讯据彭博社报道,中国固态锂电
各位读者,你们在看《长相思》吗?随着剧情更新,这部剧的热度越来越高
原标题:探路智慧医疗经济日报记者杨阳腾深圳福田河套深港科技创新合作
同仁堂科技(01666)低开低走跌超11%,截止发稿跌11 17%,报6 52港元,成
同花顺数据中心显示,金杨股份8月4日获融资买入160 26万元,占当日买入
科创板N华虹上市首日涨超13%,华虹公司是全球领先的特色工艺晶圆代工企