《星球Google》 独步天下的谷歌算法(10)

    如果你所从事的是将全世界的信息组织起来的职业，那么，在某个领域学到的东西总会在另一个领域里得到实际应用。如果说谷歌的统计机器翻译项目得益于谷歌旗下其他部门的工作，那么它也以各种方式回报了这些部门的恩惠。研发单一语言的统计技术模型转过来为研发任一语言的发音监测软件提供了便利（这个软件的监测范围包括了哪怕是新近出现的名人姓名的发音），它无需经过人工编辑之手，也无需借助词典，只要给“算法”输入足够分量的公开发表的文章，就绝对可以让它掌握正确的发音。能使它做到这一步的技术保障就是对出现频率的统计分析。

    谷歌使用的搜索程序也得到了由研发团队使用的计算部件的极大帮助。由该领域的许多学术研究者使用的一套数据（由语言数据联盟LinguisticDataConsortium提供）有52亿个单词。但谷歌可以处理大得多的集合，如仅仅从它所索引的网页中抽取出来的单词就达到了2×1012个。“我们没有更好的算法，”谷歌的彼得•诺维奇说，“我们只是有更多的数据。”

    为了给单句找到最好的译文，谷歌的算法搜索了上百万可能的短语组合。硬盘不适合作为保留数据随时备查的中介，只有随机存取内存（RAM，randomaccessmemory）才最合适。随机存取内存存量巨大是非常必要的——谷歌供人随时查考的正是这巨大的存量。统计机器翻译很适合于分布在数千台机器中进行，而谷歌的数据中心（虽然最初是为了其他目的而建）的设备就能承受这种计算上的负荷。

    有了可以处理任何规模的计算问题的计算基础设施，谷歌的研究者便拥有了一个可以傲视群雄的巨大优势。他们的程序运行之快，在2005年国家标准和技术研究所举行的机器翻译竞赛中已经得到了体现；在2006年的竞赛中，他们又占据了领先地位。在参加阿－英翻译的22个竞赛者中，谷歌的整体成绩排名第一；在参加汉－英翻译的24个竞赛者中，谷歌名列第二（被南加州大学著名的信息科学研究所险胜）。

    Systran的主席兼CEO季米特里斯•沙巴塔卡基斯（DimitrisSabatakakis）不能理解为何统计机器翻译的结果总是超过他的规则基础技术。2005年竞赛结束后，他替以规则为基础的方法作了些辩护，并建议没有雇用以汉语为母语的人员的谷歌不要再玩弄类似花招。就Systran而言，“如果我们没有中国人，我们的系统就可能出现严重的错误”。他不理解，如果没有母语为汉语的人对译文反复检验，谷歌为何能在2005年把Systran彻底打败。但他没有立即报名再次参加比赛：Systran从2006年的竞赛中消失了。2007年没有举行比赛。所以尚不清楚Systran是否已经决定永远不再与统计机器翻译直接较量。

    谷歌没有声称拥有最复杂的翻译算法，但它的确拥有一些其他的机器翻译团队所不具备的东西：体量最大的训练数据。2007年，负责机器翻译研究的工程师弗朗茨•奥奇（FranzOch）说：“在自然程序领域有一种著名的说法，‘更多的数据就是更好的数据’。”为什么谷歌一直使用那些从Web网页中搜集的2×1012词汇量的文本？原因就在于：写作质量无从担保，但绝对海量的额外数据对翻译算法质量的改进却是实实在在的。

    谷歌在机器翻译方面的成就还不能被说成是获得了足以养活自己的收益。谷歌在服务领域的拓展中所遇到的最复杂的问题就是，许多拓展项目对公司毫无贡献，至少没有直接贡献。尽管如此，机器翻译仍是一个恰当的项目。谷歌并没有急于将它的机器翻译能力投入商业性应用。它的机器翻译团队还只是谷歌实验室的一部分，而且其主要精力都放在研究上。在实验的基础上，团队在2007年为使用谷歌搜索引擎的用户提供了三种语言——阿拉伯语、汉语、俄语——的英语翻译服务。

    随着谷歌的翻译工作不断取得进展，它的翻译结果也远不止于经过了润色和符合语言习惯。当《华尔街日报》的双语（英语、阿拉伯语）记者萨马德•阿里（SarmadAli）于2007年12月在试用谷歌、Systran和另外两个竞争者的阿－英在线翻译服务时，他为这几家公司的翻译结果中的语法错误和语义错误列了一张表，按照错误的程度排列顺序，从“值得斟酌”到“荒唐可笑”都有。

本文摘自《我们的生活将怎样被一家公司彻底改变》

---

　　 在《星球Google:我们的生活将怎样被一家公司彻底改变》中，他将带领读者深入谷歌公司内部，让人们对互联网时代这家最重要、最富创新性、最有抱负的公司有一个透彻的了解。他将向人们解析公司近年来排山倒海式的大踏步前进背后所隐藏的发展战略，向人们揭示公司特立独行的事业规划——成为全世界所有信息的不可或缺的看守者，成为我们查找任何信息时的一站式目的地。谷歌能成功吗？一家掌握着如此之多的信息并因而对我们每个人了解得如此之多的公司究竟意味着什么？