打破AI遗忘诅咒的学习算法，慕尼黑-南大团队打造会自主积累知识的学习框架

机器人终身强化学习：突破智能瓶颈

人类具备终身学习能力，不断积累知识并提升技能，这被认为是通用人工智能的关键。然而，当前AI主要擅长特定领域，缺乏这种持续学习能力。慕尼黑大学和南京大学的研究团队合作开发了一种名为LEGION的机器人终身强化学习框架，旨在弥合这一差距。该框架利用贝叶斯非参数方法构建知识空间，并整合语言理解能力，使机器人能够从连续的任务流中持续学习和积累知识。研究成果已发表在《Nature Machine Intelligence》期刊上。

LEGION框架赋予机器人处理复杂现实世界长期任务的能力，通过组合和重新应用已学知识来解决新问题。这有助于理解机器人终身学习过程，并推动更通用人工智能的发展。

克服“灾难性遗忘”

深度学习算法在处理一系列任务时面临“灾难性遗忘”的挑战，即新知识覆盖旧知识。多任务强化学习（MTRL）试图通过同时学习所有任务来解决这个问题，但在顺序学习中仍然存在局限性。

LEGION框架通过构建一个动态调整的非参数贝叶斯知识空间来克服这一挑战。该知识空间能够存储和检索不同任务的知识，并通过语言嵌入增强对任务的理解。

(图示：机器人终身强化学习过程)

实验验证

研究团队使用KUKA iiwa机械臂和RealSense摄像头对LEGION框架进行了测试。实验结果表明，该框架能够使机器人从连续的任务流中学习，并有效地将学到的知识应用于新的、更具挑战性的任务。机器人能够在不遗忘先前技能的情况下，持续改进其性能。

(图示：单个任务的性能)

知识保存与迁移

LEGION框架中的任务编码器推断状态输入并生成潜在样本，这些样本被存储在非参数知识空间中。动态的知识空间能够根据需要创建或合并组件来存储新知识，并支持知识的检索和重用。实验观察到正向知识迁移现象，先前学习的任务知识有助于完成更复杂的任务。

(图示：知识空间快照)

结论

LEGION框架在机器人终身强化学习中取得了显著进展，它能够有效地保存和利用知识，使机器人能够持续学习和适应新的环境和任务。这项研究为开发更通用、更强大的AI系统提供了新的思路，并为未来研究提供了有益的参考。 研究团队也指出，未来可以探索利用大型语言模型（LLM）来进一步完善奖励机制，从而提升终身学习的效果。

论文链接：https://www.vszh.cn/link/5246bf5f765e7132db4eaf3286f24782

以上就是打破AI遗忘诅咒的学习算法，慕尼黑-南大团队打造会自主积累知识的学习框架的详细内容，更多请关注启程网【www.vszh.cn】AI 人工智能栏目。