谷歌有一个雄心勃勃的计划，那就是使用人工智能来删除侮辱性评论以及抵御网络暴民。虽然目前的技术无法应对这样的挑战，但是它有助于完善那些已经非常规范的互联网社区。

人类已经破坏了互联网。网络欺凌、骚扰性评论、社会羞辱和令人反感的言论像瘟疫一样在诸如twitter和reddit等网站蔓延，尤其是当你碰巧引起了错误的关注的时候更是如此。

提供在线服务的公司则处在被人们指控漠视骚扰性言论和压制言论自由中间。但是，现在谷歌认为，可以使用人工智能来减少这种数字化评论带来的悲剧。该公司的技术孵化器jigsaw（其前身为谷歌智库google ideas）正打算通过一款自动化程序conversation ai来识别并删除数字骚扰信息。

正如jigsaw负责人jared cohen所说，“我想利用我们拥有的最好的技术去处理那些引战帖和非正当战术（这些非正当手段使得那些敌对声音占据了不相称的比例），并且尽我们所能来提供一个公平的环境”。

谷歌利用ai抵御网络暴民 《纽约时报》成首站

谷歌此举彰显了其果敢的一面，而且这项计划与jigsaw之前的工作有所差异。jigsaw之前的工作包括推出project shield（免费的开放式ddos拦截服务），旨在保护新闻网站和促进言论自由的网站免受拒绝服务的攻击。jigsaw的另一项成果password alert是一个chrome插件，旨在确保用户密码安全，免受网络钓鱼攻击。

这些都曾是主要的技术挑战，但引战帖和网络暴民俨然也已成为一个社会学问题。

conversation ai是谷歌“moonshot”项目中最成功的项目之一，是“google brain”的一个分支。一方面，conversation ai已经通过大规模神经网络为机器学习领域带来了革命性的发展，同时也使得谷歌具有更多的优势，例如在图像识别领域比人类更加熟练。但对于在线辱骂性言论，conversation ai却无能为力。

虽然jigsaw的目标是“打击网络暴民的崛起”，但是该程序本身目前却太过温和，因此目前jigsaw离成为一个合格的项目还有一段距离。conversation ai将会主要用于简化社区审查过程（这一过程目前主要由人类完成），因此即使无法根除那些糟糕的网络行为，它也可以为一些网站积累更多更好的言论。

暗示性言论的检测

数月之后，jigsaw将会率先将conversation ai应用在《纽约时报》网站上，以帮助该公司管理其在线评论。目前，《纽约时报》主几乎要审查每一条发布在其网站上的评论。

而现在，conversation ai正在阅读其中的1800万条评论，并从中学习如何检测被拒绝的评论，包括没有实质性内容的评论、偏离主题的评论、垃圾内容、具有煽动性、攻击性的评论、包含淫秽信息的评论等。

《纽约时报》的目标并非尽量减少其评论中的辱骂性言论，因为这个问题目前已经在掌控之中；相反，《纽约时报》希望借此来减少人工版主的工作量。“我们并未奢望有一个完全自动化的系统。”《纽约时报》社区团队工程经理erica greene说。

《纽约时报》社区编辑bassey etim估计，最终大约50%～80%的评论可以实现自动审查，从而使得人工版主能够将更多的精力用于其他部分。

与实时免费网站twitter和reddit不同，《纽约时报》网站面临另一些问题。考虑到目前机器学习的局限性，conversation ai还无法有效打击存在于网络空间中的辱骂性言论。

尽管机器学习已经取得了耀眼的成就，但是它仍然没有破解人类语言。人类语言中的那些类似于围棋或者图像中的图案的部分，证明了语言的难以捉摸。

辱骂性言论检测中的语言难题是语言的语境。conversation ai的评论分析并不适用于一个完整的讨论过程，因为它只可以将单个的评论和学习模式中的评论来进行匹配，从而识别哪些是好评论或者坏评论。

例如，如果评论倾向于包含常用词汇、短语和其他特征时，这些评论就会被认为是可接受的。但据greene介绍，谷歌的系统经常会将关于唐纳德·特朗普（donald trump）的文章中的评论视为辱骂性的言论，因为他们会引用特朗普的一些言论，而这些言论如果出现在读者的评论中通常都会被屏蔽。对于这些类型的文章，《纽约时报》将会选择关闭自动审核机制。

因此，期望conversation ai在开放的网站（例如twitter）中有良好的表现，几乎是痴人说梦。

conversation ai如何检测那些发送给犹太记者的辱骂性言论中关于大屠杀的暗示？对这些辱骂性言论的检测是建立在机器学习算法能够检测的历史知识和文化背景基础之上的，而这些只有在机器学习算法接受过类似的训练之后才能实现。

即便如此，如果有人发送“如果特朗普赢了，我就会买这个”并附上相同的图片，conversation ai又如何能够将其与辱骂性言论进行区分？

事实上，这个过程所需要的语义和实践知识，甚至已经超出了目前机器学习所希望达到的目标。

因此，毫无疑问，专门的引战帖将会找到一种新的方法来发布辱骂性言论，而这种方式可以避开类似于conversation ai这样的系统。如果目标是阻止评论者用侮辱性称呼例如“同志”等称呼对方的话，那么机器学习通过屏蔽一些评论可以很好地实现这一点。但是机器学习无法识别隐喻，例如说某人是“弯”的来隐喻某人不正常。

换句话说，对于那些已经非常规范的社区来说，conversation ai将会使得审核任务完成得更有效率。

但如果想要根除那些我们听到的最糟糕的辱骂性言论 （这些言论通常出现在那些审核标准最低的网站上），conversation ai则显得无能为力。

除非改变twitter和reddit这些平台的性质，否则想要管理存在于这些网站的辱骂性言论几乎不可能。

本文作者：david auerbach曾作为软件工程师在谷歌和微软供职11年，主要工作领域为服务器基础设施。

以上是网络信息转载，信息真实性自行斟酌。