Linux配置hadoop环境步骤分享 - 极悦
专注Java教育14年 全国咨询/投诉热线:444-1124-454
极悦LOGO图
始于2009,口口相传的Java黄埔军校
首页 hot资讯 Linux配置hadoop环境步骤分享

Linux配置hadoop环境步骤分享

更新时间:2021-06-16 16:23:43 来源:极悦 浏览960次

1、下载hadoop包

wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz

2、tar xvzf hadoop-0.20.2.tar.gz

3、安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

4、chmod+x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录

5、配置java环境变量vi/etc/profile

export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

在终端下执行source/etc/profile使配置生效

6、可以用以下命令查看

显示JAVA版本java-vesion

echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH

如果java -version没有显示你的JDK的版本,请检查你的path的设置。

7、配置hadoop环境变量 vi /etc/profile

export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin

source/etc/profile使配置生效

8、测试环境

hadoop version显示

Hadoop 0.20.2

Subversion http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-r 911707

Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

9、配置

hadoop每一个组件都使用一个XML文件配置,核心属性在core-site.xml中,HDFS属性在hdfs-site.xml中,MapReduce属性在mapred-site.xml中。这些文件都在conf子目录下。

hadoop有本地模式、伪分布模式和完全分布模式三种,默认配置为本地模式,没有守护进程,一切都运行在单个JVM上。

以上就是极悦小编介绍的"Linux配置hadoop环境步骤分享",希望对大家有帮助,如有疑问,请在线咨询,有专业老师随时为您服务。

提交申请后,顾问老师会电话与您沟通安排学习

免费课程推荐 >>
技术文档推荐 >>