"Tips" 관련 글 16

UCINET CONCOR 분석
Tips 2021. 11. 9. 23:35
1. 단어-빈도 행렬 만들기 2. 단어 동시 출현 행렬 만들기 3. UCINET CONCOR 분석 http://gahwan.com/ucinet-concor-%eb%b6%84%ec%84%9d-%ed%95%98%ea%b8%b0/ [UCINET] CONCOR 분석 하기 일반적으로 네트워크 분석 시각화를 하면 네트워크가 약간 자의적으로 보이고 너무 복잡해보여서 의미를 뽑아내기 어려운 것이 사실이다. 그래서 사용할 수 있는 것이 복잡한 연결망에서 블럭 gahwan.com http://gahwan.com/ucinet-%eb%84%a4%ed%8a%b8%ec%9b%8c%ed%81%ac-%ec%8b%9c%ea%b0%81%ed%99%94-%ed%95%98%ea%b8%b0/ [UCINET] 네트워크 시각화 하기 STEP 1..
Apache Flume 설치
Tips 2021. 10. 18. 22:42
Apache Flume을 이용하면 Hadoop에 수집된 로그를 자동으로 올릴 수 있다. 설치는 아래와 같이 하자. 아래와 같이 Flume을 설치하면 Local에 새롭게 생성되는 파일을 Hadoop으로 올려준다. Flume 설치 및 설정 \$ wget https://dlcdn.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz \$ tar -xzvf apache-flume-1.9.0-bin.tar.gz \$ mv apache-flume-1.9.0-bin.tar.gz /usr/local/flume \$ vim ~/.bashrc export $FLUME_HOME=/usr/local/flume export PATH=\$PATH:\$FLUME_HOME/bin \$ sou..
Apache Hadoop Cluster 구성
Tips 2021. 10. 10. 22:27
아래의 블로그가 매우 유용하였다. https://velog.io/@somnode/hadoop-cluster-install [hadoop] Hadoop 3 클러스터 설치 Namenode랑 Datanode 디렉터리를 삭제한 후 실행하자.NameNode (http://localhost:9870)ResourceManager (http://localhost:8088)MapReduce JobHistory Server (http velog.io Hadoop을 설치한 환경은 1개의 Master, 2개의 Slave의 총 3개의 서버로 구성하였다. 아래의 정리한 메모에 따라 Master와 Slave의 모든 서버에 Hadoop를 설치해주자. Ubuntu LTS 20.04, Docker 환경에서 설치하였다. Hadoop은 3..
Apache Spark Cluster 구성
Tips 2021. 10. 10. 21:48
아래의 블로그가 매우 유용하였다. https://velog.io/@somnode/spark-cluster-install [spark] Spark 3 클러스터 설치 두 개의 컴퓨터를 사용하여 hadoop 클러스터 위에서 돌아가는 spark 클러스터를 설치한다.각각 master, worker1라고 한다.이미 hadoop cluster가 구축되어있다는 가정 하에 진행한다.\[hadoop] Cluster 설치 참고 velog.io Hadoop Cluster 위에서 동작하는 Spark를 설치하는 것이므로 먼저 Hadoop Cluster를 설치해야 한다. 이 글을 참고하여 먼저 Hadoop Cluster를 구성해주자. Spark를 설치한 환경은 1개의 Master, 2개의 Slave의 총 3개의 서버로 구성하였다...
Hadoop의 standalone 설치 방법
Tips 2021. 10. 8. 17:36
Hadoop을 Docker 기반의 Cluster로 구성하려다 실패함 그래서 하나씩 차근차근 밟아가기로 함 standalone 설치는 아래 링크를 확인할 수 있지만, 그래도 정리가 좀 필요해 보임 https://eyeballs.tistory.com/420 [Hadoop] Standalone 설치 방법 간단한 기능 테스트를 위한 Hadoop Standalone 설치 방법을 설명한다. localhost 에 설치할 것이고, 각종 옵션 등의 설명은 없다. 오로지 기능 테스트를 위해 간단하게만 설치한다. docker 를 이용하면 쉽 eyeballs.tistory.com 먼저 ssh 연결 $ ssh-keygen -t rsa $ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys $ serv..
admin

티스토리툴바