三九宝宝网宝宝百科宝宝知识

windows下的hadoop程序怎么在集群中运行

05月01日 编辑 39baobao.com

[Excel中BASIC程序的运行]在微软的电子表格软件EXCEL中,考试大提示附有一个功能很强的编程语言-Visual Basic for Applications(本文中简称为VBA)。这实际上是微软的Visual Basic的化身,微软从Visual Bas...+阅读

1.下载hadoop的安装包,这里使用的是"hadoop-2.6.4.tar.gz":2.将安装包直接解压到D盘根目录:3.配置环境变量:4.下载hadoop的eclipse插件,并将插件放到eclipse的plugins目录下:5.打开Eclipse,选择菜单"Window"-->"Preferences",在左侧找到"Hadoop Map/Reduce",在右侧选择hadoop的目录:6.打开菜单"Window"中的"Show View"窗口,选择"Map/Reduce Locations":7:在打开的"Map/Reduce Locations"面板中,点击小象图标,打开新建配置窗口:8.填写hadoop集群的主机地址和端口:9.新创建的hadoop集群连接配置,右上角的齿轮可以修改配置信息:10.打开菜单"Window"中的"Show View"窗口,找到"Project Explorer":11.在"Project Explorer"面板中找到"DFS Locations",展开下面的菜单就可以连接上HDFS,可以直接看到HDFS中的目录和文件:12.在"Project Explorer"面板中点击鼠标右键,选择新建,就可以创建"Map/Reduce"项目了:13.下面我们创建了一个名为"hadoop-test"的项目,可以看到它自动帮我们导入了很多的jar包:14.在项目的src下面创建log4j.properties文件,内容如下:log4j.rootLogger=debug,stdout,Rlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%5p - %m%nlog4j.appender.R=org.apache.log4j.RollingFileAppenderlog4j.appender.R.File=mapreduce_test.log...

如何在hadoop2 6 0上编译运行自己编写的java代码

在不使用eclipse情况使java程序在hadoop 2.2中运行的完整过程。整个过程中其实分为java程序的编译,生成jar包,运行测试。

这三个步骤运用的命令都比较简单,主要的还是如何找到hadoop 2.2提供给java程序用来编译的jar包。具体可以查看:

HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib目录

下面会通过一个在hadoop中创建一个目录的JAVA例子来进行演示

具体代码如下:

package com.wan.demo;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class HADemo {

public static void main(String[] args) {

// TODO Auto-generated method stub

mkdir(args[0]);

}

public static void mkdir(String dir){

Configuration configuration=new Configuration();

FileSystem fs;

try {

fs = FileSystem.get(configuration);

fs.mkdirs(new Path(dir));

fs.close();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

}

把HADemo.java文件拷贝到linux环境中

配置HADOOP_HOME/bin到环境中,启动集群,进入HADemo.java文件目录中

注:下面的lib目录里面的文件由HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/ webhdfs/WEB-INF/lib目录中获取,下面做的目的是为了缩减命令长度

1.编译java

# mkdir class

#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java

2.生成jar包

#jar -cvf hademo.jar -C class/ .

added manifest

adding: com/(in = 0) (out= 0)(stored 0%)

adding: com/wan/(in = 0) (out= 0)(stored 0%)

adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)

adding: com/wan/demo/HADemo.class(in = 844) (out= 520)(deflated 38%)

3.测试运行

#hadoop jar hademo.jar com.wan.demo.HADemo /test

检测:

#hadoop fs -ls /

结束!

以下为关联文档:

在内存中任意地址运行的程序实现一般来说,编译连接之后的代码只能在固定的位置(这里的位置是指偏移地址)上执行,如果直接将其拷贝到其他位置(偏移地址跟编译时的地址不同)上运行时会发生不可预料的错误。 这是因...

怎样运用Windows系统运行1。用“。”和“”打开指定文件夹 在“运行”中输入“。”,就可以打开“DocumentsandSettings”下的“用户”文件夹;输入两个“。”则可以打开“DocumentsandSettings”文件夹...

系统配置实用程序在电脑中的哪个位置不是要运行命令那种谁给如果想看详细,请看参考资料 以系统管理员身份登录系统后,单击“开始→运行”输入“Msconfig”回车后即可启动系统配置实用程序(下面笔者就结合几个应用实例来详细介绍Msconfig...

windows 10打开的应用程序在哪工具:电脑,WIN10 方法和步骤: 方法一: 1、点击开始菜单所有应用,找到需要应用程序,鼠标右击选择“打开文件位置”。 2、打开程序文件夹,即可找到应用程序图标。具体位置在管理器上...

怎样使一个程序在同时只能运行一次在工程文件中加入:var RvHandle:hWnd;{$R *.RES}begin RvHandle FindWindow(MYAPPNAME, NIL); if RvHandle >0 then begin PostMessage(RvHandle, CM_RESTORE, 0, 0); Exit;...

windows server 2008如何在运行里输入重启命令在windowsserver2008中,若要重新启动计算机,可以输入以下命令即可立即重启计算机 shutdown -r -t 0 命令意义: shutdown在英文中意为关掉,在计算机中即为关机 参数意义: -r 重新...

安装程序无法将WINDOWS配置为在此计算机的硬件上运行主板的硬盘模式调整了没?一个是IDE模式、还有ACHI和RAID。IDE是老的硬盘模式,一般用做并口硬盘(有时候装系统时不认串口也可以使用)ACHI是现在比较普遍使用的模式,支持大硬盘和降...

安装程序无法将windows配置为在此计算机的硬件上运行怎么解决1、检查硬盘分区:首先清楚我们的安装方式是传统模式还是uefi模式,如果是传统模式,分区类型就应该是mbr类型,同时还必须包含主分区和活动分区,如果是uefi模式,那就需要是gpt分区,同...

windows安装程序无法将windows配置为在此计算机的硬件上运行您好,感谢您选择惠普产品。 1.您好,不建议您使用PE或Ghost版本的系统安装光盘安装系统,因为这样的方式所使用的系统镜像大都会经过制作者的修改,而修改过的系统可能会缺失某些文...

推荐阅读
图文推荐