Hadoop安装步骤详解

Hadoop安装

Hadoop 可以从 http://developer.yahoo.com/hadoop/tutorial/module3.html 下载

现在提取 Hadoop 并将其复制到一个位置。

$ mkdir /usr/hadoop  
$ sudo tar vxzf hadoop- 2.2 。0 .tar.gz ?c /usr/hadoop  

更改 Hadoop 文件夹的所有权

$sudo chown -R hadoop usr/hadoop  

更改 Hadoop 配置文件：

所有文件都存在于 /usr/local/Hadoop/etc/hadoop

1.在 hadoop-env.sh 文件中添加

导出 JAVA_HOME=/usr/lib/jvm/jdk/jdk1。7 .0_71  

2.在 core-site.xml 在配置选项卡之间添加以下内容

<配置>  
<属性>  
<名称> fs.default.name </名称>  
<值> hdfs://hadoop-master:9000 </值>  
</属性>  
<属性>  
<名称> dfs.permissions </名称>  
<值>假</值>  
</属性>  
</配置>  

3.在 hdfs-site.xmladd 以下配置选项卡之间

<配置>  
<属性>  
<名称> dfs.data.dir </名称>  
< value > usr/hadoop/dfs/name/data </ value >  
< final >真的</ final >  
</属性>  
<属性>  
<名称> dfs.name.dir </名称>  
<值> usr/hadoop/dfs/name </值>  
< final >真的</ final >  
</属性>  
<属性>  
<名称> dfs.replication </名称>  
<值> 1 </值>  
</属性>  
</配置>  

4.打开 Mapred-site.xml 并进行如下更改

<配置>  
<属性>  
<名称> mapred.job.tracker </名称>  
<值> hadoop-master:9001 </值>  
</属性>  
</配置>  

5.最后，更新你的 $HOME/.bahsrc

光盘 $HOME  
六.bashrc  
最后添加以下行并保存并退出  
#Hadoop 变量   
导出 JAVA_HOME =/usr/lib/jvm/jdk/jdk1.7.0_71  
导出 HADOOP_INSTALL =/usr/hadoop  
导出 路径=$PATH:$HADOOP_INSTALL/bin   
导出 路径=$PATH:$HADOOP_INSTALL/sbin  
导出 HADOOP_MAPRED_HOME =$HADOOP_INSTALL   
导出 HADOOP_COMMON_HOME =$HADOOP_INSTALL  
导出 HADOOP_HDFS_HOME =$HADOOP_INSTALL   
导出 YARN_HOME =$HADOOP_INSTALL  

在从机上使用以下命令安装 Hadoop

# 苏 hadoop   
$ cd /opt/hadoop   
$ scp -r hadoop hadoop-slave-one:/usr/hadoop   
$ scp -r hadoop hadoop-slave-二：/usr/Hadoop  

配置主节点和从节点

$ vi etc/hadoop/masters  
hadoop-master  
$ vi etc/hadoop/奴隶  
hadoop-slave-one   
hadoop-slave-2  

在此格式化名称节点并启动所有守护程序之后

# 苏 hadoop   
$ cd /usr/hadoop   
$ bin/hadoop 名称节点-格式  
$ cd $HADOOP_HOME/sbin  
$ start-all.sh  

最简单的步骤是使用 cloudera，因为它预装了所有东西，可以从 http://content.udacity-data.com/courses/ud617/Cloudera-Udacity-Training-VM-4.1.1 下载.c.zip