三九宝宝网宝宝教育智力培养

怎么用myeclipse开发hadoop

02月20日 编辑 39baobao.com

[怎么用java开发一个搜索引擎呀]1.可以用lucene,lucene现在已经发展到1.9.1版了,相当稳定,网上中英文资源很丰富,甚至关于这个工具包的书(lucene in action)都有了.如果只是做站内搜索,可以直接从读数据库中读数...+阅读

首先要安装Myeclipse,在Ubuntu下安装Myeclipse和windows环境下安装的方法一样,下载myeclipse-9.1-offline-installer-linux.run然后双击运行就ok了。接下来安装Myeclipse的Hadoop插件,在hadoop的安装路径里找到hadoop的eclipse插件,0.20.2的路径在hadoop安装路径/contrib/eclipse-plugin,将插件复制到myeclipse的安装路径中的dropins文件里 Ubuntu下利用MyEclipse开发Hadoop程序 然后重启myeclipse,myeclipse会自动提示你说发现新插件。

安装插件成功,打开Window-->Preferens,你会发现HadoopMap/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。之后就是调出mapreduce视图,操作流程是MyEclipse->Window->OpenPerspective->other->勾选show all->看见一个小象Map/Reduce 就是它了。到目前你已经安装成功好hadoop插件了,接下来就是配置hadoop插件使它连上你的hadoop平台。在Map/Reduce Locations中新建一个Hadoop Location。

在这个View中,右键选择New Hadoop Location。在弹出的对话框中你需要配置Location name,如myHadoop,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。Ubuntu下利用MyEclipse开发Hadoop程序 Ubuntu下利用MyEclipse开发Hadoop程序 配置完后退出。点击DFSLocations-->myHadoop如果能显示文件夹说明配置正确,如果显示"拒绝连接",请检查你的配置。

配置成功的如图 Ubuntu下利用MyEclipse开发Hadoop程序 完成上面的一系列操作我们就可以进行开发了,先来个hello world 练练手。新建项目。File-->New-->Other-->Map/Reduce Project 项目名可以随便取,如hadoop-helloWorld。复制 hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.java到刚才新建的项目下面。上传模拟数据文件夹。为了运行程序,我们需要一个输入的文件夹,和输出的文件夹。

输出文件夹,在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。1.在当前目录(如hadoop安装目录)下新建文件夹input,并在文件夹下新建两个文件file01、file02,这两个文件内容分别如下:file01 HelloWorld Bye World file02 HelloHadoop Goodbye Hadoop2.将文件夹input上传到分布式文件系统中。在已经启动Hadoop守护进程终端中cd 到hadoop安装目录,运行下面命令:bin/hadoopfs -put input input01 这个命令将input文件夹上传到了hadoop文件系统了,在该系统下就多了一个input01文件夹,你可以使用下面命令查看:bin/hadoopfs -ls 运行项目。

1.在新建的项目hadoop-test,点击WordCount.java,右键-->Run As-->Run Configurations2.在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount3.配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,如:hdfs://localhost:9000/user/xx/input01hdfs://localhost:9000/user/xx/output01 这里面的input01就是你刚传上去文件夹。

文件夹地址你可以根据自己具体情况填写。4.点击Run,运行程序。点击Run,运行程序,过段时间将运行完成,等运行结束后,可以在终端中用命令:bin/hadoopfs -ls 查看是否生成文件夹output01。用下面命令查看生成的文件内容:bin/hadoopfs -cat output01/* 如果显示如下,恭喜你一切顺利,你已经成功在eclipse下运行第一个MapReduce程序了。Bye1 Goodbye 1 Hadoop2 Hello2 World2

以下为关联文档:

移动端web开发 rem要怎么1、rem介绍 rem(font size of the root element)是指相对于根元素(即html元素)的字体大小的单位。 假设根元素的字体大小是10px, 则5rem的大小为 5*10=50px,例如 2、rem来做适...

怎么用java开发安卓高德地图首先创建工程,并在工程Build Path>Configure Build Path…>libraries 中选择“Add Externel JARs…”,选定 MapApi.jar,点击OK,这样就可以将高德地图Android API 库文件引入。然...

怎么激发孩子的智力孩子的智力应该用哪些方法开发开发孩子智力的方法有:拼图、积木、绘画、做游戏等,但最好的方法是送他去幼儿园、托儿所,让他在与同龄人的交往、游戏的过程中自然发展。激发孩子对电动玩具进行拆装的兴趣,这个...

APP用什么开发1、iOS平台开发语言为Objective-C,开发者一般使用苹果公司开发的ios sdk 搭建开发环境, iOS SDK是开发iPhone和iPad 应用程序过程中必不可少的软件开发包,提供了从创建程序,到编...

用VC2008开发MFC程序怎么链接数据库啊使用COM连接数据库嘛首先初始化COM组件:在工程名APP类中的InitInstance()函数中初始化代码 ::CoInitialize(NULL);//初始化COM组件再在工程名.h中定义两个public的变量 _Connecti...

android开发怎么用代码去重启手机1.用runtime来实现,即: try { Runtime.getRuntime().exec("su"); Runtime.getRuntime().exec("reboot"); } catch (IOException e) { }2.Powermanger PowerManager pm = (PowerMan...

高德地图 android开发中怎么用经纬度来显示地图首先创建工程,并在工程Build Path>Configure Build Path…>libraries 中选择“Add Externel JARs…”,选定 MapApi.jar,点击OK,这样就可以将高德地图Android API 库文件引入。然...

myeclipse开发jsp怎么进入断点调试楼上的确定jsp里可以用断点?为啥我的不可以呢?测试jsp的话一般用alert语句,语法是alert();这个语句插在你希望程序暂停的地方,它会弹出一个小窗口暂停程序,这可以在一定程度上排查...

如何用MyEclipse6 5开发桌面应用程序随时可以进行开发.. 只是要导包罢了. 中是不像他语言一样 有可视化 的效果. 导入 awt 这个包, 类从 Frame 继承 给你写了一个小小的程序, 试验一下. import java.awt.*; publi...

推荐阅读
图文推荐