[HADOOP] 분산환경에 HADOOP 설치하기

https://dataengineerstudy.tistory.com/159

[LINUX] 로컬 환경에서 분산처리 환경 구축하기2

앞선 포스팅을 따라오셨다면, 네 개의 서버를 모두 켜놓고 진행해주세요!

1. JAVA설치(모든 노드에서 진행)

• Java ppa APT 추가
• sudo add-apt-repository ppa:openjdk-r/ppa
• [Enter] 입력 텍스트가 출력되면 키보드의 엔터키 입력

패키지 업데이트 실시 - sudo apt-get update

• openjdk 8 설치
• sudo apt-get install openjdk-8-jdk
• 설치 유무를 물어보는 텍스트가 출력되면 y 입력

• 자바 PATH 설정
  • sudo gedit ~/.bashrc
• bashrc 파일 제일 하단에 PATH 추가
  • export JAVA_HOME=/usr/lib/jvm/java-8-openjdkamd64
  • export PATH=$PATH:$JAVA_HOME/bin
  • export PATH  bashrc 저장  source ~/.bashrc

• 설치한 JAVA 버전 확인
  • java –version

 

2. SSH 패키지 설치(모든 노드에서 진행)

• SSH 패키지 설치
  • SSH는 Secure Shell의 약어로 공개키 기반의 암호 방식을 사용하여 원격지 시스템에 접근하여 암호 화된 메시지를 전송할 수 있는 기능
  • Hadoop의 기능을 사용할 때 NameNode가 다른 DataNode에 접근하면, NameNode의 접근 유무를 확인하기 때문에 SSH를 이용하여 항상 접근하도록 설정
• sudo apt-get install ssh
  • 설치 유무를 물어보는 텍스트가 출력되면 y 입력

• SSH 키를 생성
• ssh-keygen -t rsa -f ~/.ssh/id_rsa
• 중간에 Enter passphrase 부분은 키보드의 Enter를 입력

생성한 키 등록 - cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• 네임노드와 데이터노드 접근을 용이하기 위해 /etc/hosts 파일 수정
• sudo gedit /etc/hosts > 127.0.1.1 부분은 삭제
  • 192.168.56.101 hadoop-name
  • 192.168.56.102 hadoop-data1
  • 192.168.56.103 hadoop-data2
  • 192.168.56.104 hadoop-data3

• 생성한 공개키 DataNode에게 복사
  • ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@hadoop-data1
  • ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@hadoop-data2
  • ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@hadoop-data3
• 비밀번호를 물어보는 텍스트 출력시 yes 입력
• 각 노드의 hadoop 비밀번호를 물어보는 텍스트 출력 시 비밀번호 입력

• 홈 디렉토리 아래 bigdata 디렉토리 생성
  • cd ~
  • mkdir bigdata
  • cd bigdata

 

일단 bidata 폴더를 만들어두셨다면, 다음 포스팅에서는 하둡 코어 파일을 다운로드 받는 과정부터 보여드리겠습니다!

감사합니다!