"분류 전체보기" 관련 글 230

Docker Shell Code 메모
Memo 2021. 10. 18. 23:41
denied: requested access to the resource is denied => 로그인을 하지 않았을 때 뜨는 메세지이다. => docker login 입력하여 로그인하기 datanode가 안 올라올 때 \$ rm -rf $HADOOP_HOME/data/* \$ rm -rf $HADOOP_HOME/logs/* \$ rm -rf /tmp/* \$ mkdir /tmp/spark-events commit.sh 수정한 Container를 Docker Image로 Update&Commit docker commit $1 hadoop-spark && docker tag hadoop-spark zhwan85/hadoop-spark && docker push zhwan85/hadoop-spark ** $..
NAT와 Bridge 구분
Memo 2021. 10. 18. 22:56
NAT: 사설IP를 공인IP로 변환. 사설IP로는 내부와 통신할 수 없음. 오직 공인IP로만 외부와 통신가능 Bridge: 호스트와 게스트를 하나의 네트워크로 연결하여 사용
Hadoop 설치할 때 이용했던 Docker 명령어 메모
Memo 2021. 10. 18. 22:56
AWS에서 Cluster를 구성해보았으나 요금이 상당히 많이 발생하기 때문에 역시 개인이 AWS를 이용하기에는 무리가 있다. 서버 컴퓨터를 구매하더라도 비용이 꽤 많이 발생하니 섣불리 장비를 늘릴 수도 없다. 어차피 테스트가 목적이니 대안은 Docker Container이다. Docker 모든 컨테이너 삭제 \$ docker rm -f $(docker ps -aq) Docker 모든 이미지 삭제 \$ docker rm i $(docker images -q) Docker 컨테이너 생성 \$ docker create -it ubuntu:20.04 Docker 컨테이너 시작 \$ docker start [container id] Docker 이미지 Commit \$ docker commit 416fb95481..
Apache Flume 설치
Tips 2021. 10. 18. 22:42
Apache Flume을 이용하면 Hadoop에 수집된 로그를 자동으로 올릴 수 있다. 설치는 아래와 같이 하자. 아래와 같이 Flume을 설치하면 Local에 새롭게 생성되는 파일을 Hadoop으로 올려준다. Flume 설치 및 설정 \$ wget https://dlcdn.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz \$ tar -xzvf apache-flume-1.9.0-bin.tar.gz \$ mv apache-flume-1.9.0-bin.tar.gz /usr/local/flume \$ vim ~/.bashrc export $FLUME_HOME=/usr/local/flume export PATH=\$PATH:\$FLUME_HOME/bin \$ sou..
Apache Hadoop Cluster 구성
Tips 2021. 10. 10. 22:27
아래의 블로그가 매우 유용하였다. https://velog.io/@somnode/hadoop-cluster-install [hadoop] Hadoop 3 클러스터 설치 Namenode랑 Datanode 디렉터리를 삭제한 후 실행하자.NameNode (http://localhost:9870)ResourceManager (http://localhost:8088)MapReduce JobHistory Server (http velog.io Hadoop을 설치한 환경은 1개의 Master, 2개의 Slave의 총 3개의 서버로 구성하였다. 아래의 정리한 메모에 따라 Master와 Slave의 모든 서버에 Hadoop를 설치해주자. Ubuntu LTS 20.04, Docker 환경에서 설치하였다. Hadoop은 3..
admin

티스토리툴바