[LINUX] 로컬 환경에서 분산처리 환경 구축하기2

https://dataengineerstudy.tistory.com/159

[LINUX] 로컬 환경에서 분산처리 환경 구축하기2

앞선 포스팅을 따라오셨다면, 총 4개의 서버를 돌리고 계실겁니다.

1. hadoop-name
2. hadoop-data1
3. hadoop-data2
4. hadoop-data3

이번 포스팅에선 4개의 서버에서 하둡을 설치하기 위한 기초 작업들을 해보겠습니다.

1. UBUNTU 설치 및 환경 설정(모든 노드에서 진행)

 

(1) 터미널 바로가기 넣기

설정을 통해 생성했던 HADOOP 계정 선택

패스워드를 입력해줍니다.

ACTIVITIES에 terminal을 검색하고, 해당 terminal 아이콘을 드래그해서 좌측 메뉴로 이동 시켜줍니다.(자주 쓰기 때문에 바로가기 모음에 넣어두는 작업입니다.)

 

2. 네트워크 설정하기(모든 노드에서 진행)

Wired Settings를 선택합니다.

우측 Wired 항목에서 설정 버튼을 클릭합니다.

•  IPv4 → Manual 선택
•  Address: 192.168.56.101
•  Netmask: 24
•  Gateway: 192.168.56.1
•  DNS: 168.126.63.1
•  설정 완료 후 Apply 클릭
•  data1, data2, data3도 동일하게 진행
•  ※ Address 항목에서 data1: 192.168.56.102 data2: 192.168.56.103 data3: 192.168.56.104 로 지정

설정이 완료되면 좌측 그림의 네모 박스로 표기 된 네트워크 전원 버튼을 두번 눌러 네트워크를 재시작합니다.

터미널에서 sudo apt install net-tools를 입력해서 IP를 확인할 수 있는 패키지를 설치합니다.

설치가 완료되면, ifconfig 명령어를 통해 ip를 확인합니다.

•  name 이미지는 192.168.56.101로 나오면 정상
•  data1 이미지는 192.168.56.102
•  data2 이미지는 192.168.56.103
•  data3 이미지는 192.168.56.104 로 나와야 정상

모든 노드에서 핑 테스트를 진행합니다.

• ping 192.168.56.101
• ping 192.168.56.102
• ping 192.168.56.103
• ping 192.168.56.104
• ping 168.126.63.1

하둡끼리 통신하기 위한 사설 192.168.56.0/24 대역의 4개의 IP와 외부 인터넷(KT DNS) IP 핑 이 정상적으로 전송되면 Hadoop 설치 전 단계는 완료됐다고 보시면 됩니다!!

3. 공유 폴더 설정하기(Name 노드만 수행)

Virtual Box 메뉴의 장치 → 게스트 확장 CD 이미지 삽입 선택

조금만 기다리고, 게스트 확장 ISO를 설치 유무 창이 나타나면 Run 선택

설정했던 비밀번호 입력 후 Authenticate 클릭

설치가 진행되고 최종 하단의 Press Return to close this window…가 나타나면 엔터키를 눌러 종료

Virtual Box 메뉴의 장치 → 공유 폴더 → 공유 폴더 설정

• 우측에 공유 폴더 추가 아이콘을 선택 후
• 폴더 경로는 윈도우에서 공유할 폴더를 선택
• 폴더 이름은 경로를 선택하면 자동으로 지정됨
• 자동 마운트와 항상 사용하기를 클릭
• 마운트 지점에는 우분투에서 사용할 경로 지정
• 즉, 좌측 설정은 “윈도우의 TestShared 폴더를 우분투의 /Test 경로로 공유하겠다”를 의미

• 우분투로 이동하여 앞 슬라이드에서 설정했던 루트(/) 디렉토리로 이동
• 이동 후 Test 디렉토리로 이동하여 ls 명령어로 확인하면 윈도우의 TestShared 폴더 내의 파일 이 공유 된것을 확인
• ※ 공유 폴더 설정 후 우분투에서 디렉토리가 확 인되지 않으면 아래 두 명령어를 입력
• sudo mkdir /Test
• sudo mount –t vboxsf TestShared /Test

• 좌측과 같은 권한 오류가 발생하는 이유
• 윈도우와 가상머신과의 파일 공유 시 공유 폴더는 이제 특별한 그룹으로 사용자를 관리하기 때문
• OpenSource로 제공되는 가상 환경 프로그램이기 에 수많은 오류가 발생할 가능성이 많음
• 루트 권한으로 디렉토리를 조작해도 되지만 추후 예제 를 실행할 때 일반 사용자를 사용하기 때문에 아래와 같이 수정 할 것
• sudo usermod -aG vboxsf hadoop  vbosxf 그룹에 사용자 hadoop 추가
• shutdown -r now
• 재부팅 후 정상적으로 접근 가능