“拥有智能的机器”是人们长期以来的愿景，AI的发展速度这个愿景似乎就要成为现实了。当机器有了足够多的智慧，它们就能脱离人类的控制，自主运作，独立作出判断和选择。当一个机器有权利去选择的时候，问题就来了：它的选择是道德的吗？对于它们而言，它们的道德标准和人类一样吗？
谷歌的AlphaGo与李世石的第二场围棋赛中，AlphaGo下出的第37收震惊了专家评委们。没有人理解它为什么要那么走，因为人类棋手不会走子。然而事实证明它并不是走错了，连它的创造者都明白它是怎么规划战略的，AlphaGo告诉了我们，在完成同一项任务的时候，AI的思维并不是一定和我们相同。
对于人类来说，我们对价值观或者说道德的判断几乎都是要基于一定的情感判断的。所以道德一旦掺加了人性情感的判断就变得无比复杂。历史上对道德的观点有两派：天理派和本质派。
“天理派”认为，道德是在人类本性之上的，是永恒且客观的；而“本质派”则认为人类的道德是人类这一存在的产物，而也许其他种类的存在会有其他形式的道德。
天理派学说的代表人物亨利·西奇威克19世纪的功利主义哲学家，他认为，一个有道德的行为从全宇宙的角度来看都应该是正当的。也就是说，一个行为道德与否不取决于任何个人的看法；一个有道德的行为应该能把全人类的利益最大化。而对于掺加了情感的道德行为，进化遗留的问题，它意味着人类还未完全进化。
然而智能机器还没有进化遗留问题，关于道德，他们有一个崭新的开始。如果我们能教会它们从宇宙的角度去思考，那么会发生什么呢？
请想象一下，现在是2026年。一辆无人驾驶的汽车载着你的两个孩子去上学，这时三个你不认识的小孩突然出现在前方的路上。刹车也来不及了，唯一救那三个小孩的方法就是拐进路边的水沟里，而这样做的话你的两个孩子就会淹死。你不会做这样的决定，因为你被自己对自己孩子的无逻辑的感情蒙蔽了双眼；但是这辆自驾车的道德观告诉它，从全宇宙的角度看，两个儿童的死亡好过三个的。它会拐进沟里，将全人类的利益最大化；对于“天理派”，智能机器必须做出道德上可观正确的选择，即使这种选择是我们这些有缺陷的人类无法做出的。
如果是基于我们人类的情感来说，我们的选择肯定是保住我们自己的两个孩子。虽然这个做法着实很不道德，但是这是符合人类本性的行为。在这一点上，我们人类不得不承认，我们是一类充满缺陷的生物群体，而这种最大的缺陷却是我们最珍惜的、最值得骄傲的人性的温馨。
但是，对于AI来说，它们肯定选择保住三个孩子，对于它们来说，价值最大是终极目标。可能这样的做法，对于它们的拥有着来说，是很难接受的，但是在他们的所谓的道德标准里面，利益最大化是终极目标。这也是区别于人类最大弱点的价值判断，没有人性。这种没有人性的道德，从全宇宙的角度来看，是最好的选择。
但是，有一个问题：AI是由人来设计的，它的道德准则势必会受到人类的影响。我们所想象的这种几乎接近完人的机器，到底会不会存在呢？基于人类人性的特征，我们不会允许AI比我们强太多，换句话说，今天我们人类自主设计的AI不会接近完美。而不让AI接近完美的干扰因素正是我们人类的不完美因素造成的。
在1940年的时候，科幻作家艾萨克·阿西莫夫（Isaac Asimov）提出了“机器人三定律”，旨在保证人类能在享其利的同时避其害。三定律的第一条很简单：“机器人不得伤害人类，也不得对人类受到伤害袖手旁观”。剩下的两条则要求机器人在第一条得到保证的前提下，服从指令且保护自己。对阿西莫夫来说，机器人存在的意义就是辅助我们。
但是机器人三定律真的就足够了吗？举个例子：假设一位钢琴家的手染上了坏疽，不截肢就会导致死亡。但她发誓说，如果不能弹琴，她就不想活了；但是同时她也在发烧，所以她可能并没有真的这么想。机器人医生该怎么做呢？是该让钢琴家承受被截去手的伤害，还是坏疽带来的死亡的伤害？
机器在面对这样的问题的时候，到底是按照自己的思路去选择，还是按照人类的思路去选择呢？或许对于这样的问题，我们无法给予一个合理的答案，因为不管怎么样，或多或少对于这位钢琴家来说，都会带来些许的伤害。至于这些伤害到底如何去选择，或许机器要用超过全宇宙的角度来抉择。
如果教这些机器阅读人类文明的结晶——哲学巨著，想想一下，它是否会得出一些不同于人类的感悟。会不会形成自己的独到的哲学观念？
人类对于道德的理解，其实就一句话，能够找到合理的解释来证明自己的做法是合理的就行了。同样机器人道德应该符合他们的本性，它们是独立的理性个体，虽然它们是被个体刻意创造的，但它们和创造者共享着世界，同样需要向世界证明自己选择的合理性。
相关资源：敏捷开发V1.0.pptx