用因果影响图建模通用人工智能安全框架

Ramana Kumar, DeepMind Translated by Xiaohu Zhu, University AI 我们写了一篇论文,将用来设计安全通用人工智能(AGI)的各种框架(例如,带有奖励建模的强化学习,合作式逆强化学习 CIRL,辩论 debate 等)表示为因果影响图(CID),以帮助我们比较框架并更好地理解相应的智能体激励机制。 我们很乐意收到评论,特别是关于 1. 介绍的框架是否可以被准确表示? 2. CID表示有用吗? 3. 我们没有包含的框架建模成这种模型有用吗? 论文的摘要:安全的通用人工智能系统(AGI)的提议通常在框架层面进行,规定了如何训练所提议系统的组件并相互交互。在本文中,我们使用因果影响图来模拟和比较最有希望的 AGI 安全框架。图显示了框架的优化目标和因果假设。统一的表示可以让我们轻松地比较框架及其假设。我们希望这些图可以作为主要 AGI 安全框架的一个易接受和可视化的介绍。 本文对齐论坛地址