"Memo" 관련 글 14

리눅스 쉘 명령어 메모
Memo 2021. 10. 30. 10:34
echo `pwd` : 백쿼터 안에 명령어 넣자 echo $(pwd) : 위와 동일한 결과 출력 echo 'pwd' : 이건 그냥 pwd라는 문자열이 출력됨 \ : 하나의 문자를 인용부호화 ''(작은 따옴표) : 모든 메타문자 보호 ""(큰 따움표) : $(변수치환), `(명령치환), \ 제외한 모든 메타문자 보호 메타문자 : ;, &, (), {}, |, , newline, space/tab, $, *, [], ? a='ls -a' eval $(echo $a) ls 명령 결과 출력 grep xuser /etc/passwd expr 100 \* 10 : 곱하기는 \ 를 붙여야됨 if expr "$num" + 0>& /dev/null /dev/null 의미는?? read choice case "$choic..
하둡에 대한 짧은 생각
Memo 2021. 10. 29. 14:54
하둡이라는 녀석의 개념이 워낙에 데이터의 '저장'과 밀접하다 보니, 이 녀석을 기존의 하드디스크에 데이터를 저장하는 방식과 안정성과 비교를 하게 된다. 하지만 하둡은 어디까지나 데이터의 분산 '처리'를 위해 만들어진 것으로, 안정적인 데이터 저장과는 목표가 사뭇 다르다. 하둡을 이용하면 용량이 큰 파일이더라도 여러 머신에 분산시킬 수 있다. 하드디스크가 데이터를 읽어 처리 장치에 넘기는 간격이 짧으니 데이터 처리 속도가 빠르다는 점과, 여러 머신에 분산시켜 버리니 병목 현상이 줄어든다는 점이 하둡의 엄청난 강점이다. 머신이 갖다 붙을수록 좋다. 말이 쉽지... 프로그래밍 좀 해본 사람들이라면 이게 얼마나 구현이 어려운 것인지 대충 짐작할 것이다.. 그래서 이게 진짜 대단한 기술이다;;
(작성중) Hadoop 명령어 정리
Memo 2021. 10. 28. 17:06
\$ hadoop fs -mdkir [경로 및 폴더명] \$ hadoop fs -put [로컬 파일 경로] [hdfs 디렉토리] \$ hdfs dfs -put [로컬 파일 경로] [hdfs 디렉토리] \$ hadoop fs -rm [hdfs 파일] : -r 옵션은 삭제하고려는 디렉토리에 파일이 있어도 삭제함 http://blog.iotinfra.net/?p=12 hadoop fs 명령어 정리 ■ 참조 Hadoop File System Shell Guide. ■ appendToFile : 로컬 시스템의 파일을 기존에 존재하는 hdfs 파일시스템의 파일에 붙인다. bash$ hadoop fs -appendToFile [로컬 시스템의 파일] [HDFS 파일시스템 디렉토리 blog.iotinfra.net
리눅스 쉘 명령어 메모
Memo 2021. 10. 23. 11:33
참고할 곳 https://blog.gaerae.com/2015/01/bash-hello-world.html Bash 입문자를 위한 핵심 요약 정리 (Shell Script) blog.gaerae.com https://wiki.kldp.org/HOWTO/html/Adv-Bash-Scr-HOWTO/ 고급 Bash 스크립팅 가이드 본 튜토리얼은 여러분이 Bash에 대해서 어떠한 사전 지식도 없다고 가정을 합니다만, 금방 중/고급 수준의 명령어들을 소개합니다(...유닉스의 슬기롭고 교훈적인 부분들을 배워 나가면서). 이 문 wiki.kldp.org \$ ls -l 파일명 : 파일 정보 보기 \$ ls -l f* : f로 시작하는 파일보기 \$ ls -l f?ile : ?에 한 글자 \$ ls -l f[ab]* ..
Docker Shell Code 메모
Memo 2021. 10. 18. 23:41
denied: requested access to the resource is denied => 로그인을 하지 않았을 때 뜨는 메세지이다. => docker login 입력하여 로그인하기 datanode가 안 올라올 때 \$ rm -rf $HADOOP_HOME/data/* \$ rm -rf $HADOOP_HOME/logs/* \$ rm -rf /tmp/* \$ mkdir /tmp/spark-events commit.sh 수정한 Container를 Docker Image로 Update&Commit docker commit $1 hadoop-spark && docker tag hadoop-spark zhwan85/hadoop-spark && docker push zhwan85/hadoop-spark ** $..
admin

티스토리툴바