Google机器人团队获ICRA 2023 机器人学习方向最佳论文奖:机器人实体控制的大语言模型程序

2023-12-31 09:39:31

这篇论文主要讨论了大型语言模型(LLM)在机器人控制方面的应用。作者们指出,尽管LLM在理解和生成自然语言方面表现出色,但其在实际应用中,如机器人控制等领域的应用仍然有限。因此,他们提出了一种新的方法,即使用LLM编写代码来控制机器人的行为。
在这里插入图片描述

他们发现,编写代码的LLM在规划、策略逻辑和控制方面表现出色。这些模型可以被重新用于编写机器人策略代码,给出自然语言命令(格式化为注释)。策略代码可以表达处理感知输出(例如,开放词汇对象检测器)和参数化控制原语API的函数或反馈循环。当提供了几个示例语言命令和相应的策略代码(通过少量提示),LLM可以接收新的命令并自主重新组合API调用以生成新的策略代码。此外,编写代码的模型可以表达各种算术运算以及基于语言的反馈循环。他们不仅可以推广到新的指令,而且由于在数十亿行代码和注释上进行了训练,也可以根据上下文为模糊的描述(例如,“更快”和“向左”)规定精确的值,以引出行为常识。

方法部分,作者们详细介绍了如何使用大型语言模型(LLM)生成代码作为策略。他们的方法主要包括以下几个步骤:

1.定义语言模型程序(LMP):作者们首先定义了语言模型程序(LMP)的概念。LMP是由语言模型生成并在系统上执行的任何程序。他们的工作主要研究了一类名为“代码作为策略”的LMP,这类LMP将语言指令映射到代码片段,这些代码片段可以(i)响应感知输入(即来自传感器或传感器上层的模块),(ii)参数化控制原语API,并(iii)直接在机器人上编译和执行。

2.生成LMP:作者们展示了如何使用LLM生成LMP。他们提供了一些示例,如何将自然语言指令(格式化为注释)转化为代码。例如,他们展示了如何使用LLM编写代码来控制机器人的行为,如移动物体,识别物体,以及执行更复杂的任务。

3.执行LMP:为了执行LMP,他们首先检查它是否安全运行,确保没有导入语句,没有以__开头的特殊变量,也没有对exec和eval的调用。然后,他们使用Python的exec函数,将代码作为输入字符串,并使用两个字典形成该代码执行的范围:(i)全局变量,包含生成的代码可能调用的所有API,和(ii)局部变量,一个将在exec期间定义的变量和新函数填充的空字典。如果LMP预计会返回一个值,他们会在exec完成后从局部变量中获取它。

4.提示生成LMP:生成LMP的提示包含两个元素:(i)提示,例如导入语句,告诉LLM哪些API可用以及如何使用这些API;(ii)示例,这些是指令到代码对,展示了如何将自然语言指令转化为代码。这些可能包括执行算术运算,调用其他API,以及编程语言的其他特性。

5.高级LMP:作者们还展示了如何使用LLM生成更复杂的代码,如使用控制流(如if-else和循环语句)和嵌套函数调用。他们还展示了如何使用LLM生成函数以供未来使用,以及如何使用LLM遵循良好的抽象实践,避免将所有代码逻辑“扁平化”。

在这篇论文的实验部分,作者们展示了如何使用大型语言模型(LLM)编写代码来控制机器人的行为。他们提供了一些示例,包括如何使用LLM编写Python脚本,如何使用第三方库进行复杂操作,以及如何使用第一方库进行操作。他们还展示了如何使用LLM编写更复杂的代码,如使用控制流(如if-else和循环语句)和嵌套函数调用。

在这里插入图片描述

在实验中,他们使用了一些具体的任务来展示他们的方法的效果。例如,他们展示了如何使用LLM编写代码来移动物体,如何识别物体,以及如何执行更复杂的任务。他们还展示了如何使用LLM生成函数以供未来使用,以及如何使用LLM遵循良好的抽象实践,避免将所有代码逻辑“扁平化”。

以下是一些具体的实验示例:

1.他们展示了如何使用LLM编写代码来移动物体。例如,他们展示了如何使用LLM编写代码来移动一个名为“红色块”的物体。他们首先获取该物体的位置,然后将其向右移动一定的距离。

2.他们展示了如何使用LLM编写代码来识别物体。例如,他们展示了如何使用LLM编写代码来识别一个名为“蓝色块”的物体。他们使用了一个开放词汇的物体检测器来完成这个任务。

3.他们展示了如何使用LLM编写代码来执行更复杂的任务。例如,他们展示了如何使用LLM编写代码来将一个名为“蓝色块”的物体放在一个名为“蓝色碗”的物体上。

4.他们展示了如何使用LLM生成函数以供未来使用。例如,他们展示了如何使用LLM编写代码来定义一个名为“get_total”的函数,该函数接受一个名为“xs”的参数,并返回其总和。

5.他们展示了如何使用LLM遵循良好的抽象实践,避免将所有代码逻辑“扁平化”。例如,他们展示了如何使用LLM编写代码来定义一个名为“get_objs_bigger_than_area_th”的函数,该函数接受两个参数——一个名为“obj_names”的物体名列表和一个名为“bbox_area_th”的阈值,然后返回所有大于该阈值的物体的名字。

这些实验结果表明,LLM可以有效地用于编写控制机器人行为的代码,具有很高的实用性和广泛的应用前景。
在这里插入图片描述

最后作者们总结了他们的研究成果,并对未来的研究方向进行了展望。他们认为,大型语言模型(LLM)在编写代码方面的能力为机器人控制提供了新的可能性。通过使用LLM,我们可以将自然语言指令转化为机器人策略代码,从而实现更复杂的机器人行为。此外,他们还指出,LLM不仅可以理解和生成自然语言,还可以通过使用"say(text)"作为一个可用的动作原语API,参与人机对话和问答。他们的研究结果表明,LLM可以有效地编写Python程序,并能够处理各种复杂的任务,如移动物体,识别物体,以及执行更复杂的任务。他们的方法不仅可以广泛应用于机器人控制,还可以用于其他需要编写代码的领域。

文章来源:https://blog.csdn.net/weixin_44887311/article/details/135313068
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。