什么是友好ai？(friendly ai?)

友好人工智能是人工智能（AI）研究人员使用的一个术语，它指的是人工智能系统，通常执行对人类有益的行为，而不是中性或有害的行为。这并不意味着盲目服从——相反，这个词是用来描述人工智能系统是友好的，因为它们想友好，而不是因为任何外部强加的力量。除了指已完成的系统外，友好AI也是成功创建此类系统的理论和工程学科的名称。。...

“友好人工智能”一词起源于奇点人工智能研究所的Eliezer Yudkowsky，其目标是创造友好人工智能，使其能够在不受程序员干预的情况下改进自己的源代码。2001年，他在网上出版了一本关于这个主题的长篇著作《创造友好的人工智能》，这可能是世界上第一次对这个主题进行严格的处理。尤德科夫斯基引用进化心理学和其他认知科学的观点来支持他对友好人工智能问题的方法。。

友好型人工智能被认为是一门重要的学术学科，因为过去试图“回答”流氓人工智能问题的尝试通常会引用严格的编程约束，当人工智能变得比人类更聪明时，或者仅仅当人工智能获得自我重编程的能力时，这些约束必然会在其他解释下崩溃。拟人化也是人工智能中的一个问题。因为进化构建的有机体往往是自私的，所以许多思想家认为我们构建的任何人工智能都会有同样的倾向，要么是立即，要么是在变得足够聪明之后。。

进化建立了以自我为中心的目标系统，因为没有其他方法。利他主义的目标体系花了数百万年的时间才得以发展，而且只有在同一部落的成员通过互相帮助可以获得很多好处，而忽视帮助则会失去很多东西的情况下，利他主义的目标体系才得以发展。但是，如果我们从头开始设计思维，我们可以在没有以自我为中心的目标体系的情况下构建思维。这不是“限制人工智能”——它只是创造了一种本质上无私的人工智能。。

上述观察是对友好人工智能领域做出贡献的众多观察之一，这是一个非常新的领域，仍然需要做很多工作。一些人工智能研究人员认为，在我们有更智能的人工智能系统进行实验之前，我们无法确定实现友好人工智能所需的设计特征。其他人则认为，在开始认真尝试一般人工智能之前，纯理论方法不仅是可能的，而且在伦理上是必要的。