Yahoo用Hadoop开源项目挑战Google

车迷发言人

Yahoo用Hadoop开源项目挑战Google
Yahoo用Hadoop开源项目挑战Google

国外媒体消息，如果你想接触一些Google核心技术的开源版本，也许你应该问Yahoo.
　　
　　Yahoo已经成为Hadoop的主要发起者之一。Hadoop是一个开源项目，该项目的目标是复制Google的技术来在成百上千日常的个人电脑之间保存和处理大量的分布式数据。去年Hadoop项目的创始人Doug Cutting加入了Yahoo，并在六月的Oscon开源大会上与Yahoo公司网状式计算部门的主管Eric Baldeschwieler详细介绍了他们是如何应用这项技术的。
　　
　　Cutting，曾经在Excite和Xerox的PARC工作，建立或合作建立了一系列项目，这些项目涉及在Apache软件小组的领导下建立一个开源的搜索平台。他在Lucene（一个页面索引和搜索的Java软件库）和Nutch（一个建立在Lucene上的搜索引擎应用程序）方面的工作产生了Hadoop,Hadoop开始是作为一个Nutch的辅助项目，目标是在多台电脑间编译一个搜索索引用来有效地扩展工作量。因为Cutting不在Yahoo办公，他表示他的工作实际更像是有人支付薪水让他为他的Apache项目全职工作，并且帮助Yahoo和开源社区有效地合作。另一方面，他不参与Yahoo大多数技术以外的东西。
情缘XIUGOO站长之家 网赚联盟 Yahoo专题

　　Hadoop使用的基础技术是另一项技术的一部分，该技术使得Google管理大量的与为页面加索引相关的数据处理的挑战，并且经济地处理。Google没有发布其Google文件系统或关联的分布计算环境的源代码，知名的有MapReduce。但是Google所做的是在计算机科学杂志发表学术白皮书，大概他们完全清楚竞争对手和开源的程序员很可能建立他们自己的项目。

　　除了在Oscan介绍Hadoop,Cutting还参加了一个由O'Reilly传媒公司的首席执行官Tim O'Reilly主持的关于新的系统规划和架构技术的讨论座谈。当Cutting谢绝推测Yahoo支持这个项目的动机时，O'Reilly称之为开源在市场上成为“两个选手的天然同盟”的一个例子，也是保持市场平等的一种方式。

　　在后续的博客中，O'Reilly写到Yahoo显然想用这个“表现的舞台”来展示它对项目的支持。“实际上，我甚至打电话问David Filo确认我所知的来自高端的支持。”他写到。O'Reilly认为Yahoo正在尝试通过接触开源社区包括像Hadoop这样的项目以及它自己的Yahoo Hack Day活动来展示自己。