강의지원 게시판

[빅데이터] 리눅스에 하둡 설치하기

윈-프
작성자
신 민규 신 민규
작성일
2015-03-27 10:03
조회
1270

참고

- 이 글은 우분투 14 LTS 64 비트를 기준으로 합니다.

- 경험상 MapReduce로 큰 파일을 제어해보려면 64기가 정도의 공간이 필요합니다.

1. 자바 설치하기

- 구글에서 JDK를 검색합니다.

- JDK 7의 압축파일을 받습니다. (RPM 파일은 우분투에서 실행되지 않습니다.)

- 압축을 푼 뒤 아래를 실행하여 적절한 경로로 이동시킵니다.

sudo mkdir /usr/lib/jvm

sudo mv jdk1.7??? /usr/lib/jvm

- 그 다음 아래를 실행하여 .bashrc 파일을 엽니다.

sudo gedit ~/.bashrc

- 파일의 가장 위에 JAVA_HOME을 추가하여 자바 폴더의 경로를 설정합니다.

export JAVA_HOME=/usr/lib/jvm/jdk1.7???

export PATH=$JAVA_HOME/bin:$PATH

- 아래를 실행하여 변경 사항을 적용합니다.

source ~/.bashrc

- 아래를 실행하여 자바가 설치되었는지 확인합니다.

java -version

 

2. 하둡 설치하기

- 구글에서 하둡2를 검색하여 바이너리 압축파일을 받습니다. (리눅스에서는 바이너리 파일을 그대로 사용할 수 있습니다.)

- 압축을 푼 뒤 설치 페이지를 따라 xml 파일들을 설정해줍니다.

- 다음을 실행해 하둡 파일을 적절한 경로로 복사합니다.

sudo cp -r hadoop??? /usr/local

복사하는 이유는 나중에 하둡이 잘못되었을 때를 대비하여 백업 파일을 유지하는 것입니다.

- 아래를 실행하여 필요한 프로그램을 설치하고 설정합니다.

sudo apt-get install ssh

ssh localhost

- 키를 생성할 것인지 물어보면 yes를 입력합니다.

- .bashrc에 아래와 하둡 경로를 추가하면 하둡 사용이 편합니다.

export HADOOP_PREFIX=/usr/local/hadoop???

export ...:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin:$PATH

터미널에서 javac를 통해 컴파일을 할 경우 아래 내용을 추가하면 편합니다.

export CLASSPATH=$HADOOP_PREFIX/share/hadoop/common/hadoop-common-2.6.0.jar

이 외에도 또 필요한 jar 파일들이 필요하면 :을 붙이고 해당 jar 파일의 경로를 추가합니다.

- .bashrc 파일을 적용한 후 아래를 실행하여 하둡이 정상 작동하는지 확인합니다.

hadoop version

- 설치 페이지를 따라 네임노드를 작동시켜봅니다.

참고

- 우분투 14의 경우 업데이트가 되면 하둡 경로의 권한이 root로 바뀝니다. 아래를 실행하여 유저에게 권한을 줍니다.

sudo chown -R 유저이름 $HADOOP_PREFIX