빅데이터 분석중 부딪힌 오류들 2

환경 구성

TYPE	OS	CPU	RAM	Storage	NIC	비고
MAIN	Win10	I7-7700	24GB	HDD 1TB	Realtek
VM	CenTOS	2P 2C	8GB	HDD 100GB	NAT	싱글노드-hadoop

<오류>

컴퓨터를 껐다가 킨 뒤 하이브에서 추가적으로 데이터 분석을 위해 하이브를 실행 시켰지만 오류가 났다.

./sbin/start-all.sh를 사용하여 모든 노드들을 켜줬지만 jps를 해보니 DataNode가 작동하지 않았다.

<원인>

초기화를 하는 과정에 namenode는 알아서 데이터가 들어있는 폴더를 삭제하는데,

datanode는 간혹 삭제하지 않는 경우가 있었다. 그래서 직접 삭제해주는 과정이 필요하다.

<해결>

hdfs-site.xml 파일에서 설정한 /home/hadoop/data/dfs/datanode를 rm -rf 로 삭제시킴.

# rm -rf /home/hadoop/data/dfs/datanode

하둡 폴더로 다시 돌아가서 ./bin/hdfs datanode -format.

# ./bin/hdfs/ datanode –format

./sbin/start-all.sh를 해주고 jps를 해주어 datanode 가 올라오는지 확인해준다.

# ./sbin/start-all.sh

# jps