本篇文章3284字，读完约8分钟

“未来生命研究所”(fli)总结了“Asilo Horse人工智能原则”，并列出了未来人工智能研究人员、科学家和立法者为确保安全、道德和利益而应遵循的23条准则。

“未来生命研究所”(fli)总结了“Asilo Horse人工智能原则”，并列出了未来人工智能研究人员、科学家和立法者为确保安全、道德和利益而应遵循的23条准则。

正文:迈克尔·欧文编译:朵拉·布莱特

人工智能会严重毁灭世界吗？人工智能对人类有益吗？我们应该摧毁它吗？这听起来像是在拍一部科幻电影，但随着人工智能的迅速发展，数百名人工智能和机器人领域的专家共同编写了《Asilo Hour Manual Intelligence Principles》，其中列出了23条指导方针，提出了指导人工智能发展的重点和注意事项，共同维护人类未来的伦理、利益和安全。

这23条准则由生命未来研究所牵头，旨在确保人类在新技术出现时能够顺利避免潜在风险。其突出的核心成员是斯蒂芬霍金和埃隆马斯克。该组织关注新技术和新问题带来的潜在威胁，如人工智能、生物技术、核武器和气候变化。

2017年1月，在美国加州阿西洛举行的有益人工智能会议上，该组织召集了来自大学和公司的人工智能研究人员，讨论人工智能的未来以及如何对其进行监管。会前，组织要求参与者做一个调查:如何在未来几年发展和监督人工智能，并利用这些参与者的反馈来制定一个早期目标点。修订版在会上被讨论和研究，只有当90%的研究人员同意最终列出一个原则清单。

“部分签字专家”

demis hassabis，deepmind的创始人兼首席执行官

openai研究主任兼联合创始人ilya sutskever

纽约大学教授，facebook人工智能研究室主任yann lecun

蒙特利尔大学和蒙特利尔学习算法研究所所长yoshua bengio

加州大学伯克利分校计算机科学教授、智能系统中心主任斯图尔特·拉塞尔

彼得·诺维格，谷歌研究总监

谷歌研究总监雷·库兹韦尔；发明家、作家和未来学家，《奇点逼近》的作者

杰夫·迪恩，谷歌大脑项目负责人，谷歌高级研究员，aaai成员

苹果公司的汤姆·格鲁伯；siri的联合创始人、首席技术官和siri项目设计副总裁

nils j. nilsson，美国科学促进会前主席，斯坦福大学熊谷盖荣誉退休工程教授

ibm的francesca rossi帕多瓦，计算机科学教授，美国计算机学会主席，美国计算机学会委员会、美国计算机学会和伦理委员会联合主席，美国计算机学会会员

共有808名人工智能/机器人研究人员签字；

和

剑桥大学斯蒂芬·霍金

特斯拉首席执行官埃隆·马斯克

jaan tallin，skype的联合创始人

y combinator公司总裁萨姆·奥特曼

吉尔·普拉特，丰田研究所首席执行官

……

阿西洛的人工智能原理是著名的阿西莫夫机器人三原则的扩展版本。阿西洛的人工智能原理主要分为三类:科学研究问题、伦理价值和长期问题。

科学研究问题主要包括科学家和研究人员开发人工智能系统的责任，以及计算机科学、经济学、法律、伦理学和社会研究中可能出现的“棘手问题”。这里必须指出，人工智能不能仅仅为了利益而产生，而是应该通过自动化实现人类的繁荣，同时确保人类不被取代。保持一种开放和合作的人工智能研究文化也是一个优先事项，以确保研究人员和决策者不会在相互交流信息的同时，通过伤害人类的手段与竞争对手竞争。

讨论中最有趣和最有争议的问题应该是“人工智能应该具有什么样的价值以及它应该具有什么样的法律和道德地位？”一个有机器人的世界已经够复杂的了，机器人似乎拥有远离我们的力量，但是这些争论已经在欧盟开始了。我们越早考虑这些问题，就越容易在未来做出转变。

问题是人工智能应该给予什么样的力量？科学家们认为，人工智能应该遵从尊严、权利、自由和文化等多样性，将其作为普遍的“人类价值”。这意味着将人工智能应用于个人数据不应侵犯任何人的隐私、自由或安全。如果有任何问题，人们需要确定这些问题的原因和方式。设计者和设计者在使用或误用系统时应该承担一定的道德责任。

这些观点已经在实践中得到考虑:科学家们讨论了如何使用一个“红色大按钮”来干预一个已经开始按照动作路径执行任务的机器人，并防止它干扰谷歌深度思维项目。

特别可怕的是要注意“应该禁止致命的军备竞赛”。生命未来研究所过去一直强调这一点。2015年，它向联合国提交了一封公开信，要求联合国禁止发展军事人工智能。

科学家们列出了一个清单，重点关注潜在的长期问题，包括这项重要技术的未来发展，平衡资源分配，但规划和减轻人工智能系统可能面临的风险，特别是灾难性的或现有的风险。

出于这个原因，安全控制措施应该应用于ai，它可以改进自己的技术并防止脚本中的世界末日。总的来说，“超级智能应该只服务于发展广泛共享的道德理想，服务于全人类的利益，而不是一个国家或组织的利益。”

[/h “阿西洛马人工智能原理”[h/]

科学研究问题

研究目的:人工智能研究的目标应该是创造对人类有益而不是不受人类控制的智能。

2)研究资助:投资人工智能应该有一定的资金来研究如何确保人工智能的有益使用，包括计算机科学、经济学、法学、伦理学和社会研究中的难题，例如:

？如何使未来的人工智能系统高度健全(“健壮”)，并让系统按照我们的要求运行而不出现故障或黑客攻击？

？如何通过自动化改善我们的繁荣，同时保持人力资源和意志？

？如何完善法律体系，使其更加公平高效，跟上人工智能的发展速度，控制人工智能带来的风险？

？人工智能应该属于什么价值体系？它应该具有什么样的法律和道德地位？

3)科学和政策之间的联系:人工智能研究人员和政策制定者之间应该有建设性和有益的交流。

4)科学研究文化:应该在人工智能的研究人员和开发人员中培养一种合作、信任和透明的人文文化。

5)避免竞争:人工智能系统开发团队应该合作，避免利用安全标准。

道德和价值观

6)安全性:人工智能系统在整个运行过程中应安全可靠，并应验证其适用性和可行性。

7)故障透明性:如果人工智能系统造成损害，应确定损害的原因。

8)司法透明度:任何涉及自动系统的司法裁决都应提供令人满意的司法解释，以被相关领域的专家所接受。

9)责任:先进人工智能系统的设计者和建造者是由人工智能的使用、误用和行为所引起的道德影响的参与者，并且有责任和机会塑造这些道德影响。

10)价值归属:高度自治的人工智能系统的设计应确保其目标和行为在整个操作过程中与人类价值观一致。

11)人类价值观:人工智能系统的设计和运行应符合人类尊严、权力、自由和文化多样性的理想。

12)个人隐私:当赋予人工智能系统分析和使用数据的能力时，人们应该有权访问、管理和控制他们生成的数据。

13)自由和隐私:人工智能在个人数据中的应用不能毫无理由地剥夺人们真正的或感知的自由。

14)分享利益:人工智能技术应该让尽可能多的人受益并为他们服务。

15)共同繁荣:人工智能创造的经济繁荣应该被广泛共享，造福全人类。

人类控制:人类应该选择如何并决定是否让人工智能系统完成人类选择的目标。

17)不颠覆:授予高级人工智能的权力应该尊重和改善健康社会所依赖的社会和公民秩序，而不是颠覆。

18)人工智能军备竞赛:应避免致命自动武器的装备竞赛。

长期问题

19)能力警惕:我们应该避免将来对人工智能能力上限的高假设，但在这一点上还没有达成共识。

20)重要性:先进的人工智能可以代表地球生命史的深刻变化，人类应该有相应的关注和资源来进行规划和管理。

21)风险:人工智能系统造成的风险，尤其是灾难性风险或与人类生存相关的风险，必须有针对性地进行规划，并努力减轻可预见的影响。

22)递归自升级:人工智能系统旨在递归地自我升级或自我复制，以快速提高质量和数量，必须遵守严格的安全和控制标准。

23)公共利益:超级智能的发展是为了服务于被广泛接受的伦理道德，它是为了全人类的利益，而不是为了一个国家或一个组织的利益。