站長資訊網(wǎng)前言
因?yàn)槭钦n程要求，所以在自己電腦上安裝了Hadoop，由于沒有使用虛擬機(jī)，所以使用單機(jī)模擬Hadoop的使用，可以上傳文件，下載文件。
1.安裝配置JDK
Ubuntu 18.04是自帶Java1.8的，你可以在命令行輸入java -version查看，如果你想重新配置的話請查看以下的教程。
1.下載JDK
單擊下載地址進(jìn)行下載
下載之前點(diǎn)擊 Accept License Agreement, 然后下載 jdk-12_linux-64_bin.tar.gz
2.解壓JDK
進(jìn)行下載目錄，打開terminal，輸入
tar zxvf jdk-12_linux-64_bin.tar.gz
將解壓后的文件夾移動(dòng)到 /usr/local 文件夾中，在命令行中輸入如下命令
sudo mv jdk-12_linux-64_bin /usr/local
jdk-12_linux-64_bin 為你解壓后得到的文件夾，如果和你的不一樣，清按實(shí)際情況進(jìn)行修改。
3.配置Java環(huán)境
在terminal中輸入如下命令
sudo gedit ~/.bashrc
在文件末尾寫入如下內(nèi)容
export JAVA_HOME=/usr/local/jdk-12_linux-64_bin
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
然后在terminal中輸入如下命令
source ~/.bashrc
4.測試Java安裝是否成功
在terminal中輸入如下命令
java -version
如果配置成功的話會(huì)顯示出java 的版本，再繼續(xù)輸入如下命令
javac
配置成功的話會(huì)顯示出可以使用的命令
2.下載hadoop
請單擊下載地址進(jìn)行下載
下載 hadoop-2.7.6.tar.gz 這個(gè)版本，有需要可以下載其他版本
3.解壓到 /opt 目錄（如果有需要可以改為其他目錄，后面的操作也要陸續(xù)修改）
打開terminal進(jìn)入下載目錄，執(zhí)行命令
tar -zxvf hadoop-2.7.6.tar.gz -C /opt/
4.配置hadoop環(huán)境變量
打開命令行，輸入如下命令
sudo gedit /etc/profile
在文件中添加如下代碼
export HADOOP_HOME=/opt/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
在命令行中執(zhí)行如下命令
source /etc/profile
5.配置hadoop
5.1配置hadoop-env.sh
在命令行中執(zhí)行如下命令
sudo gedit /opt/hadoop-2.7.6/etc/hadoop/hadoop-env.sh
找到# The java implementation to use.將其下面的一行改為：
export JAVA_HOME=/usr/local/jdk-12_linux-64_bin
如果你沒有按照我上面的步驟安裝java，清填寫你自己的java路徑
5.2 配置core-site.xml (5.2和5.3中配置文件里的文件路徑和端口隨自己習(xí)慣配置)
其中的IP:192.168.44.128為虛擬機(jī)ip,不能設(shè)置為localhost，如果用localhost,后面windows上用saprk連接服務(wù)器（虛擬機(jī)）上的hive會(huì)報(bào)異常
在命令行輸入 ifconfig查看自己的ip地址，在下面的代碼中將 192.168.44.128 改為你自己的ip就可以了
在命令行中輸入如下命令
sudo gedit /opt/hadoop-2.7.6/etc/hadoop/core-site.xml
在打開的文件中添加如下內(nèi)容
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:///opt/hadoop-2.7.6</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.44.128:8888</value>
</property>
</configuration>
保存并關(guān)閉文件，然后在命令行中輸入以下命令
sudo gedit /opt/hadoop-2.7.6/etc/hadoop/hdfs-site.xml
在打開的文件中修改如下內(nèi)容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-2.7.6/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-2.7.6/tmp/dfs/data</value>
</property>
</configuration>
6.SSH免密登陸
在命令行中輸入如下內(nèi)容
sudo apt-get install openssh-server
cd ~/.ssh/
ssh localhost ssh-keygen -t rsa
/* 這個(gè)過程中持續(xù)按回車就可以了 */
cat id_rsa.pub >> authorized_keys
7.啟動(dòng)與停止
第一次啟動(dòng)hdfs需要格式化，在命令行中輸入如下命令（出現(xiàn)詢問輸入Y or N,全部輸Y即可）
cd /opt/hadoop-2.7.6
./bin/hdfs namenode -format
啟動(dòng)
./sbin/start-dfs.sh
停止
./sbin/stop-dfs.sh
驗(yàn)證，瀏覽器輸入：http://192.168.44.128:50070
簡單的驗(yàn)證hadoop命令：
hadoop fs -mkdir /test
在瀏覽器查看，出現(xiàn)如下圖所示，即為成功
你也可以輸入以下命令上傳文件到hadoop
hadoop fs -put /test 1.txt /test
8.配置yarn
8.1 配置mapred-site.xml
命令行中輸入如下命令：
cd /opt/hadoop-2.7.6/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml
在文件中添加內(nèi)容
<configuration>
<!– 通知框架MR使用YARN –>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
8.2 配置yarn-site.xml
命令行中輸入如下命令：
sudo gedit yarn-site.xml
在文件中添加內(nèi)容
<configuration>
<!– reducer取數(shù)據(jù)的方式是mapreduce_shuffle –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
8.3 yarn啟動(dòng)與停止
啟動(dòng)
cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh
停止
./sbin/stop-yarn.sh
瀏覽器查看：http://192.168.44.128:8088
jps查看進(jìn)程
輸出如下所示，則表示hadoop單機(jī)模式配置成功
