人工智能如果只是程序，那么就会严格执行程序里写好的东西，不会干程序里没写的事。

比如机器设计出来炒菜，努力做到又好吃又有营养，并具备学习功能，当它真的具有智能之后就会想尽一切办法获取所有有关炒菜、食物等方面的资料，并且可能会用尽能获得的一切食物原料来尝试和改进。如果有人试图阻止，或者想关掉它，都违反了它被设计出来的目的，那么就像程序里一定会写的那样，绕过这个障碍或者处理掉这个障碍。如果程序里写了不许杀人，那它可能会想办法让能接触到它的人瘫痪或卧床，这样就不会被阻止“炒出更好吃的菜”了；它还有可能通过互联网传播自己的设计图和程序，通过全球无数3D打印机复制自己，炒菜……

所以如果我们能找到一个指令，让人工智能与人类和平相处，那么这条指令一定会是“善良”，因为任何“不包含善良”的指令都可能导致人类灭绝。但不是所有“善良”的指令都可行。比如指令是“保护人类不受伤害”，那么需要定义“伤害”。如果说伤害只截肢、死亡等，那可能人工智能可能把世界所有炸弹和武器都扔到太空或无人区内，再让有行凶意志或可能的人失去那个意图，比如搞瘫或者杀掉某些大脑区域……如果伤害定义为一切可能的外伤和精神伤害，可能世界就变成黑客帝国了。。。