数字生命的潜能究竟有多大？我们只知道，现在Voyager仍然在Minecraft中一刻不停地探索，不断扩展着自己的疆域。
「训练」无需梯度下降
此前，AI领域的一大挑战就是，构建具有通用能力的具身智能体，让它们在开放世界中自主探索，自行发展新技能。
以往，学界都是采用强化学习和模仿学习，但这些方法在系统化的探索、可解释性和泛化性等方面，表现往往差强人意。
大语言模型的出现，给构建具身智能体带来了全新的可能性。因为基于LLM的智能体可以利用预训练模型中蕴含的世界知识，生成一致的行动计划或可执行策略，这就非常适合应用于游戏和机器人之类的任务。
此前，斯坦福研究者构建出生活着25个AI智能体的虚拟小镇，震惊了AI社区
这种智能体还有一个好处就是，不需要具体化的自然语言处理任务。
然而，这些智能体仍然无法摆脱这样的缺陷——无法终身学习，因而不能在较长时间跨度上逐步获取知识，并且将它们积累下来。
而这项工作最重要的意义就在于，GPT-4开启了一种新的范式：这个过程中是靠代码执行「训练」，而非靠梯度下降。
Jim Fan解释道：我们在BabyAGI/AutoGPT之前就有了这个想法，花了很多时间找出最好的无梯度架构
「训练模型」是Voyager迭代式构建的技能代码库，而非浮点数矩阵。 通过这种方法，团队正在将无梯度架构推向极限。
在这种情况下训练出的智能体，已经具备了同人类一样的终身学习能力。
比如，Voyager如果发现自己处在沙漠而非森林中，就会知道学会收集沙子和仙人掌就比学会收集铁矿更重要。
而且，它不仅能根据目前的技能水平和世界状态明确自己最合适的任务，还能根据反馈不断完善技能，保存在记忆中，留在下次调用。
所以，我们离硅基生命出现还有多远？
刚刚回到OpenAI的Karpathy对这个工作表示盛赞：这是个用于高级技能的「无梯度架构」。在这里，LLM就相当于是前额叶皮层，通过代码生成了较低级的mineflayer API。
Karpathy回忆起，在2016年左右，智能体在Minecraft环境中的表现还很让人绝望。当时的RL只能从超稀疏的奖励中随机地探索执行长期任务的方式，让人感觉非常stuck。
而现在，这个障碍已经在很大程度上被解除了——正确的做法是另辟蹊径，首先训练LLM从互联网文本上学习世界知识、推理和工具使用（尤其是编写代码），然后直接把问题抛给它们。
最后他感慨道：如果我在2016年就读到这种对智能体的「无梯度」方法，我肯定会大吃一惊。
