빅데이터 분석중 부딪힌 오류들 1

환경 구성

TYPE	OS	CPU	RAM	Storage	NIC	비고
MAIN	Win10	I7-7700	24GB	HDD 1TB	Realtek
VM	CenTOS	2P 2C	8GB	HDD 100GB	NAT	싱글노드-hadoop

<오류>

분석을 하였을때 오류 (NULL) 값이 나왔다.

<원인>

데이터 분석을 위해 csv 파일을 Centos 환경에 넣었지만, " 들이 남아있었다. 

테이블을 생성했을 때 string 값과 int 값으로 구분을 했기 때문에 "을 인식하지 못해 오류가 났다.

<해결>

sed문으로 글에 있는 " 들을 전부 삭제하는 명령을 데이터파일이 들어있는 위치에서 실행시켰다.

# sed 's/"//g' datafile_NEW.csv > datafile_NEW2.csv

" 들이 없어진것을 확인하였다.

그 뒤에 데이터를 다시 테이블에 overwite 하니고 데이터를 출력하니깐 정상적으로 데이터가 나왔다.