大家好,今天來為大家分享hadoop安裝步驟的一些知識點,和hadoop的安裝與配置詳細過程的問題解析,大家要是都明白,那么可以忽略,如果不太清楚的話可以看看本篇文章,相信很大概率可以解決您的問題,接下來我們就一起來看看吧!
linux下怎么知道hadoop安裝成功
在hadoop安裝目錄bin里:運行./start-all.sh啟動集群,jps查看啟動狀態,會看到namenode..等已啟動信息
如何在windows下安裝hadoop
先說一下要準備哪些軟件和信息:
VMware-workstation;
CentOS-6.0-i386-bin-DVD;
eclipse-jee-luna-SR1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(由于hadoop對版本的要求較高,大家還是不要輕易更換版本,這里列出來的各種軟件都是穩定發布版,網上很容易可以download到的)。
整個教程分為這樣5個部分來說:1)在Windows下安裝虛擬機Vmware,并新建一個虛擬機裝好centos系統;2)centos下設置ssh服務無密碼登錄;3)centos下安裝jdk,并配置環境變量;4)centos下安裝hadoop,并配置文件;5)windows下安裝jdk和eclipse,并將eclipse與centos下的hadoop連接。可以說這5個部分每一個都很重要,尤其是第4)步。下面我們就詳細說一下每一步該怎么做。
Step0:請大家先在windows下新建一個普通用戶,用戶名為hadoop,我們所有的軟件全在這個下面安裝,用戶名最好要是hadoop,因為這個要和后面很多username相同,設為hadoop比較好記。
1)在Windows下安裝虛擬機Vmware,并新建一個虛擬機裝好centos系統;
首先,下載VMware-workstation并安裝,這步驟和一般windows下安裝軟件的過程是一樣的,入門小白也會熟練操作,這里就節省點兒空間給后面重要的步驟了~
然后,在Vmware的主頁上新建一個虛擬機
一路下一步,直到讓你選擇系統鏡像路徑,我們選擇centos系統映像,如上圖,點擊下一步。然后,需要你輸入linux的用戶名,這個比較重要,最好填寫hadoop,因為這個名字在后面要用到好多次!
后面還是一路的“下一步”,直到讓你設置虛擬機的內存大小,建議為1024M。如上圖。后面就是要選擇和虛擬機的網絡類型有關的設置了,建議為“使用網絡地址轉換NAT”,如下圖。這一步我當時選擇了自動橋接的功能,找了一個晚上的錯誤。。。時間就這樣白花花的沒了~~
之后還是一路的“下一步”,幾乎都是使用它推薦的設置,我們就可以新建一個centos,等待個幾分鐘然后就可以進入centos界面了。看到那一抹科技藍,有沒有讓你心動了呢~~哈哈哈,你確實走好了第一步!
2)centos下設置ssh服務無密碼登錄;
在桌面右擊,選擇openinTerminal,這個就是linux的終端了。希望讀者有一些linux操作系統的基礎,這樣子上手更快一些。不過要是沒有的話,也沒有關系,我們是面向新手的教程。
2.1.先在linux命令行中輸入su,提示密碼,輸入你自己設置的密碼,這樣子你后面的操作都具有了linux系統下的最高權限——root權限。
2.2.在設置ssh無密碼登錄之前,有一個特別重要的要先出好:關閉SELinux。這是因為centos會自動阻止你修改sshservice,我們只有關閉SELinux,重啟才能生效。如何做,如下:
修改/etc/selinux/config文件
將SELINUX=enforcing改為SELINUX=disabled
重啟機器即可
(note:在linux下修改文件,vi命令后會進入到文件窗口,按i進入insert,修改完畢之后再按esc推出insert,輸入;:wq!保存并退出~這里要感謝泡哥,改了半天都不行,還是泡哥指點迷津了~~)
2.3.在linux命令行里輸入:ssh-keygen-trsa,然后一路回車。
root@hadoopName-desktop:~$ssh-keygen-trsa
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(/home/zhangtao/.ssh/id_rsa)://密鑰保存位置,直接回車保持默認;
Createddirectory'/home/zhangtao/.ssh'.
Enterpassphrase(emptyfornopassphrase)://設置密鑰的密碼,空密碼直接回車即可;
Entersamepassphraseagain://確認上一步設置的密碼。
然后進入/root/.ssh/下面,會看到兩個文件id_rsa.pub,id_rsa,
然后執行cpid_rsa.pubauthorized_keys
然后sshlocalhost驗證是否成功,第一次要你輸入yes,以后就不需要了。
如下圖,由于我又驗證了一次,所以還需要輸入y,如果你是第一次驗證是不要的。
至此,ssh服務無密碼登錄設置完畢!
3)centos下安裝jdk,并配置環境變量;
這一步中可以分為兩步:安裝jdk、配置jdk環境變量。
3.1.第一步:root用戶登陸,使用命令mkdir/usr/program新建目錄/usr/program,下載JDK安裝包jdk-6u13-linux-i586.bin,將其復制到目錄/usr/program下,用cd命令進入該目錄,執行命令“./jdk-6u13-linux-i586.bin”,命令運行完畢即安裝完成,將在目錄下生成文件夾/jdk1.6.0_13,此即為jdk被成功安裝到目錄:/usr/program/jdk1.6.0_13下。
3.2.root用戶登陸,命令行中執行命令“vi/etc/profile”,并加入以下內容,配置環境變量(注意/etc/profile這個文件很重要,后面Hadoop的配置還會用到)。
#setjavaenvironment
exportJAVA_HOME=/usr/program/jdk1.6.0_27
exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
在vi編輯器增加以上內容后保存退出,并執行以下命令使配置生效!
#chmod+x/etc/profile;增加執行權限
#source/etc/profile;使配置生效!
配置完畢后,在命令行中輸入:java-version,就會出現安裝jdk的信息。
這時,jdk的安裝和配置環境變量就成功了~
ubuntu安裝hadoop步驟
ubuntu安裝hadoop的方法:
1.打開瀏覽器,訪問hadoop官網,然后下載hadoop源碼包
2.使用以下命令安裝openjdk
sudoaptinstallopenjdk-jre
3.配置openjdk環境變量,要指定JAVA_HOME、CLASS_PATH和PATH三個方面的信息
4.解壓hadoop源碼包,然后配置hadoop環境變量
5.配置完畢后,啟動hadoop服務,hadoop安裝完畢
10Hadoop集群中namenode節點需要安裝zookeeper嗎
1、首先你要確定不用ha的時候你的hadoop集群是正常的,不然找錯誤的方向就偏離了2、如果都正常,配置ha需要zookeeper,先要看看是不是zookeeper沒有配置好的問題3、如果都正常,在hadoop安裝目錄執行sbin/hadoop-daemon.shstartzkfc,這句是啟動zookeeper選舉制度,然后執行bin/hdfshaadmin-transitionToActivenn2其中nn2是你的namenode中的一個4、你在hadoop-env.sh中是需要配置JAVA_HOME的,但是不需要配置其他,HADOOP_HOME和PATH是需要配置在/etc/profile中的
hadoop安裝步驟和hadoop的安裝與配置詳細過程的問題分享結束啦,以上的文章解決了您的問題嗎?歡迎您下次再來哦!