三九宝宝网宝宝百科宝宝知识

怎样用windows eclipse

05月01日 编辑 39baobao.com

[用命令提示符查看Windows自启动信息]要想查看Windows系统的自启动信息,我们一般都是通过在“运行”对话框中输入“msconfig.exe”命令调用“系统配置实用程序”来查看,或是使用一些第三方系统软件来查看。有时我...+阅读

1、目标:在三台ubuntu上搭建hadoop开发环境;在windows下利用Eclipse访问ubuntu下的hadoop环境,进行开发;

2、软硬件要求:软件: hadoop-0.20.2 ,jdk-1.6 ,操作系统 ubuntu10.10 , Eclipse3.7 ;硬件:3台装有ubuntu系统的机器(我使用的是在一台windows xp下利用 VMware workstation 安装了三台ubuntu虚拟机) 3台ubuntu虚拟器使用相同的用户名和密码 如我的用户名都是matt,

3、ubuntu上搭建hadoop环境 (这一步我直接省略,在网上有很多参考),搭建好后的配置文件如下:core-site.xmlhadoop.tmp.dir/home/matt/HadoopInstall/tmpA base for other temporary directories.fs.default.namehdfs://tiger:9000 mapred-site.xmlmapred.job.trackertiger:9001 hdfs-site.xmldfs.replication2

4、在windows上安装eclipse3.7,首先先进行windows系统参数设置,进入C:\WINDOWS\system32\drivers\etc 将hosts中加入主机名与对应Ip的关系 tiger 192.168.200.195 lion 192.168.200.196 wolf 192.168.200.197 (这三台分别是我的三台ubuntu虚拟机的主机名和对应的IP,可以参考我之前写的日志VMware虚拟机与主机共享上网的设置) 在官网下载解压eclipse3.7,然后将hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自带的hadoop插件只能支持 eclipse3.3.2以下版本,因此这个插件是我在google中搜索的);重启eclipse 通过点击Window ->Open Perspective ->Other 选择、Map/Reduce,图标是个蓝色的象。

就可以看到mapreduce视图了;接下来进行设置mapreduce开发环境,在 eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,弹出配置框 其中Location name可以随便起,Map/Reduce Master要与你的mapered-site.xml对应,DFS与core-site.xml对应,User name是 unbuntu中搭建hadoop环境的用户名;接下来设置advanced parameter,里面主要注意的是 hadoop.tmp.dir(要与配置文件中的临时 目录一致) 和 hadoop.job.ugi(hadoop环境的用户名和组名 在这里就是 matt ,matt)这个变量名可能在刚开始时不存在,没有关系 先配置好其他的,确认保存。

这时打开project Explorer就可以看到DFS Location了 如果在第一次没有hadoop.job.ugi变量的配置时在/hadoop/mapred/system下你是没有查看权限的 也就是查看不 到/matt/HadoopInstall/tmp这个目录,也不能进行删除文件操作,这时再打开advanced parameter,将值配置为上面提到的对应值就 好了(matt,matt);到这里整个配置部分就ok了;

5、运行第一个程序wordcount 在 project Explorer中右键->new ->mapreduce project 然后点击 configure Hadoop install directory 浏览到 hadoop0.20.2文件夹 下,这样project就会自动把hadoop下的jar包导入到工程,然后把hadoop自带的wordcount源码复制到project src目录下(注意包名要 一致)然后右键 Run As ->Run configuration ,弹出配置窗口单击左边的javap Application 选择WordCount程序,然后在右侧的 Arguments Program arguments 中配置运行参数(hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分别对应程 序输入目录和输出目录)点击apply,然后再在wordcount上右键 ->run on hadoop 程序就能运行并在eclipse中打印日志信息了。

如何编写hadoop java程序

1.编译java

# mkdir class

#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java

2.生成jar包

#jar -cvf hademo.jar -C class/ .

added manifest

adding: com/(in = 0) (out= 0)(stored 0%)

adding: com/wan/(in = 0) (out= 0)(stored 0%)

adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)

adding: com/wan/demo/HADemo.class(in = 844) (out= 520)(deflated 38%)

3.测试运行

#hadoop jar hademo.jar com.wan.demo.HADemo /test

检测:

#hadoop fs -ls /

hadoop怎样开发web程序

其实,你弄错了hadoop的真正意图。首先,hadoop不适合于开发WEB程序。hadoop的优势在于大规模的分布式数据处理。负责数据的分析并采用分布式数据库(hbase)来存储。但是,hadoop有个特点是,所有的数据处理作业都是批处理的,也就是说hadoop在实时性上是不占优势的。对于WEB应用来说,你也许可以做的是,将系统的数据处理部分分离出来交给hadoop去做。关于hadoop的数据处理有一个专门的工具:hive。hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

希望对你有帮助...

以下为关联文档:

怎样运用Windows系统运行1。用“。”和“”打开指定文件夹 在“运行”中输入“。”,就可以打开“DocumentsandSettings”下的“用户”文件夹;输入两个“。”则可以打开“DocumentsandSettings”文件夹...

kerberos for windows怎么用Kerberos 为网络用户提供了一种安全的身份验证手段,是最流行的身份验证机制之一。大多数现代操作系统都支持基于 Kerberos(第 5 版)的身份验证。IBM AIX® 5.3 也支持基于 Kerb...

Windows iCloud Drive怎么安装怎么用又比如在 Mac 上打开 Numbers 电子表格应用后,在 Mac OS 10。 7、随后即可在 iPhone 中打开 iCloud Drive 功能 3、在这里可以看到我在 Mac OS 的 iCloud Drive 中打开了文稿...

在WINDOWS登陆方式中 WINDOWS登陆和 MICROSOFT网络用Windows登录 这是Windows刚安装完成后默认的登录方式,也是Windows中最不安全的登录方式, Microsoft友好登录 要以此种方式登录,需对控制面板中网络属性进行修改,在“配置”标签...

windows10应用商店在哪里可以用吗在桌面上点开始菜单然后再点击应用商店。 进入应用商店后,在搜索栏输入搜索你要想的软件,然后再点击安装。 此是会提示你切换到这台电脑上的microsoft账户,点击下一步。 如果不...

怎样用easybcd从windows引导ubuntuUbuntu14.04作为目前最新版本的ubuntu系统,相信很多人都想在自己的电脑上安装一下,然而系统的安装方法各式各样,u盘法、grub引导法等等,这里我将介绍在win7系统下用easyBCD软件...

windows API用什么参考书好呀windows API用什么参考书好呀,windows api的一些参数数值:《Windows API编程》ISBN:7302105715定价:32元印刷日期:2006-1-9图书简介:本书在说明Win32 API函数调用的基础上,重点...

windows xp怎样用键盘来进行开关机和重启windows xp怎样用键盘来进行开关机和重启,微软电脑surface book开不了机怎么办:在默认英文输入法下, xp系统赋予可以执行键盘如下组合键快速关机与重启电脑: 1、快速关机:按住win...

怎样激活Windows Server怎样激活Windows Server:装了windows server 2008之后才发现,它与windows server 2008 R2有很大的差别,总之R2是更新的版本,还是建议直接装R2(注意R2和sp2是完全两码事)。 工具/原...

推荐阅读
图文推荐