Facebook AI “失控”，你还敢用吗？

　　本来只是一个AI项目研发中出现的再正常不过的bug，被整改也是因为训练结果背离了开发者的期望。然而，这个小事故却被铺天盖地的媒体报道过度解读成了一段堪比“终结者”的机器失控，以及人类为了自我解救展开的“屠杀”。Elon Musk和小扎刚就AI悲观论干完一架，这件小事也就顺势引起了一众吃瓜群众的恐慌。[page]

　　那么，这场闹剧的背后究竟发生了什么——Facebook的机器人是否真的学会了新语言?他们的研究出了什么问题?而Facebook又是为什么叫停了这一项目呢?机器人真的在通过这些人类看不懂的语言密谋吗?[page]

　　之所以这个机器人暗号看起来“蠢蠢的”，是因为Facebook科研团队在开发前期没有为机器人设置正确的“奖励”，鼓励他们说人话。说白了，这就是一个bug，一个error。这样的错误在语言模型初学者的尝试中十分常见，只不过这次出现在了Facebook这样技术背景雄厚的公司上，这一错误就被想象成了机器人的“早慧”。[page]

　　那为什么会出现“to me”和“i”的大量重复，而不是其他词汇的重复呢?

　　这是语言模型本身的特性决定的。在这一概率模型下，如果没有合适的“奖励”引导，机器人会选择更常用的词汇，来降低犯错的风险。显然，“to me”和“i”在英语中出现的频率是相当高的。机器人不断重复“to me”和“i”就是绕进了一个循环。

　　Facebook是否因恐慌AI过度智能而“谋杀”了这个机器人?很显然，答案是否定的。Facebook此次整改这一项目正是因为他们意识到了其中的错误。

　　“我们的目标是设计出可以和人类进行对话的砍价机器人，而不是仅仅能够和自身对话的机器人。”Facebook的研究者Mike Lewis这样说道。

　　另外，Facebook也并没有叫停这一项目。他们只是去重新训练机器人了，让机器人的对话更符合英语文法。

　　AI可能带来的危险我们当然应该警惕。然而，面对当前的AI发展成果，比起吸引眼球和以讹传讹，我们还是该更实事求是一些。