Hadoop의 standalone 설치 방법

Hadoop을 Docker 기반의 Cluster로 구성하려다 실패함

그래서 하나씩 차근차근 밟아가기로 함

standalone 설치는 아래 링크를 확인할 수 있지만, 그래도 정리가 좀 필요해 보임

https://eyeballs.tistory.com/420

[Hadoop] Standalone 설치 방법

 

먼저 ssh 연결

$ ssh-keygen -t rsa

$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

$ service ssh start

$ service ssh status

 

$ wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz --no-check-certificate

$ tar zxvf hadoop-3.3.0.tar.gz

(이것도 인스톨 패키지가 제공되면 좋겠당...ㅋ)

 

하둡 경로 추가하기

$ vim ~/.bashrc

export HADOOP_HOME=/root/hadoop-3.3.0

export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

 

core-site.xml 수정

hdfs-site.xml 수정

mapred-site.xml 수정

yarn-site.xml 수정

(위의 링크를 참고하자. 조만간 정리하겠음)

 

namenode 포맷하고, hdfs와 yarn 실행시키기

$ HADOOP_HOME/bin/hdfs namenode -format

$ HADOOP_HOME/sbin/start-dfs.sh

$ HADOOP_HOME/sbin/start-yarn.sh

 

ERROR

ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.

ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

ERROR: but there is no HDFS_YARN_RESOURCEMANAGER_USER defined. Aborting operation.

위의 오류가 뜰 것이다. 더불어 JAVA_HOME을 못 찾는다는 error도 뜰 것이다.

하둡 내부적으로 이용하는 경로인 듯 하니,

$HADOOP_HOME/etc/hadoop/hadoop-env.sh에 아래 내용을 추가하자.

export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

이것 때문에 좀 헤맴. 흙.

 

hadoop fs -mkdir /user 

이 명령 입력했을 때, 아래 명령이 나오면 프로세스 안 올라 온거다..

mkdir: RPC response exceeds maximum data length

오류 메세지가 매우 불친절하다... ㅡㅡ^

 

start-all.sh 입력해서 올려주자. 

다른 프로세스가 9000번 포트가 사용 중이라면 죽여주자.

하둡을 이리저리 설치하다 보니 docker의 container가 9000번을 이용하고 있더라.