中文XML论坛--[转帖]MapReduce发力：发布支持Eclipse和Amazon EC2平台的工具插件

贴子主题： [转帖]MapReduce发力：发布支持Eclipse和Amazon EC2平台的工具插件

本主题类别:

作者 Scott Delap译者 Jason Lai 发布于 2007年3月29日上午9时28分

From:[URL=http://www.infoq.com/cn/news/2007/03/mapreduce-hadoop;jsessionid=9A49418570644F3BEC1224512C6FF53E]http://www.infoq.com/cn/news/2007/03/mapreduce-hadoop;jsessionid=9A49418570644F3BEC1224512C6FF53E[/URL]
IBM Alphaworks网站发布了一个[URL=http://www.alphaworks.ibm.com/tech/mapreducetools/]新的Eclipse插件[/URL]，使用开源Java MapReduce框架Hadoop来简化应用程序的开发。Hadoop框架的产生最初是为了[URL=http://lucene.apache.org/nutch/]支持Nutch项目[/URL]。Hadoop包含了一个分布式文件系统以及MapReduce编程结构的一个实现，该实现被[URL=http://labs.google.com/papers/mapreduce.html]Google广泛用于[/URL]进行跨集群海量数据集的并行处理。今年在Hadoop上所做的集成工作使得[URL=http://labs.google.com/papers/mapreduce.html]在Amazon的EC2平台上运行Hadoop MapReduce应用[/URL]和[URL=http://wiki.apache.org/lucene-hadoop/AmazonS3]使用Amazon的S3平台[/URL]进行存储等更为容易。[URL=http://aws.typepad.com/aws/2007/01/hadoop_filesyst.html]Amazon Web服务博客[/URL]表示：“由于EC2实体和存储于S3上的数据之间的带宽尚未度量或发布，这是处理大量数据的一种很节约成本的方式”。
IBM MapReduce插件包含以下功能：

允许Java™项目以JAR（Java Archive）文件形式打包并部署到（本地和远程的）Hadoop服务器上
提供辅助开发过程的备忘单（Cheat Sheets）
增加了一个独立的Eclipse透视图（Perspective），以及用于显示Hadoop服务器、Hadoop分布式文件系统（DFS）和当前任务状态的视图
提供了一些向导，使基于MapReduce框架的类的开发变得更加容易
此外，它还包括了改进的备忘单，并且完全兼容OS X。插件使用SCP和SSH与Hadoop服务器进行交互，通过HTTP协议获取工作状态。


	W 3 C h i n a ( since 2003 ) 旗下站点苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》	30.273ms