환경 구성 TYPEOSCPURAMStorageNIC비고MAINWin10I7-770024GBHDD 1TBRealtek VMCenTOS2P 2C8GBHDD 100GBNAT싱글노드-hadoop 컴퓨터를 껐다가 킨 뒤 하이브에서 추가적으로 데이터 분석을 위해 하이브를 실행 시켰지만 오류가 났다. ./sbin/start-all.sh를 사용하여 모든 노드들을 켜줬지만 jps를 해보니 DataNode가 작동하지 않았다. 초기화를 하는 과정에 namenode는 알아서 데이터가 들어있는 폴더를 삭제하는데, datanode는 간혹 삭제하지 않는 경우가 있었다. 그래서 직접 삭제해주는 과정이 필요하다. hdfs-site.xml 파일에서 설정한 /home/hadoop/data/dfs/datanode를 rm -rf 로 삭제시킴..
환경 구성 TYPE OS CPU RAM Storage NIC 비고 MAIN Win10 I7-7700 24GB HDD 1TB Realtek VM CenTOS 2P 2C 8GB HDD 100GB NAT 싱글노드-hadoop 분석을 하였을때 오류 (NULL) 값이 나왔다. 데이터 분석을 위해 csv 파일을 Centos 환경에 넣었지만, " 들이 남아있었다. 테이블을 생성했을 때 string 값과 int 값으로 구분을 했기 때문에 "을 인식하지 못해 오류가 났다. sed문으로 글에 있는 " 들을 전부 삭제하는 명령을 데이터파일이 들어있는 위치에서 실행시켰다. # sed 's/"//g' datafile_NEW.csv > datafile_NEW2.csv " 들이 없어진것을 확인하였다. 그 뒤에 데이터를 다시 테이블..
FTP를 서비스를 사용해 실제PC의 데이터 가져오기 빅데이터 분석을 하면서 FTP를 사용하였다. 그 과정을 남겨보자 1. ftp 설치 2. ftp 사용자와 비밀번호를 설정해준다. 3. ftp 서비스를 시작해준다. 4. Centos에 /home/ftpuser 라는 폴더를 만들어서 파일을 다운받아 저장시킨다. 그러기 위해서는 /home/ftpuser 폴더에 들어간 상태로 실제pc와 연결시켜야 한다. 실제 pc에 옮길 csv 파일이 들어있는 폴더에 들어가서 ftp centos IP = ftp 1.0.0.20를 입력해준다. 그리고 아까 Centos에서 만들었던 사용자와 비밀번호를 입력해준다. 5. 실제PC에 올바른 경로에 데이터가 들었는지 확인한다. 6. put명령어를 사용하여 datafile.csv 를 Cen..
1. 오류 내용 전엔 간단한 Centos를 옮겨봤지만 우리가 필요한건 AD 서버와 Member 서버이다. 그래서 AD를 migration 하려고 하는데 용량이 너무 커서 오래걸렸다학원을 마치고 갈때 진행중인 aws sms(server migration service) 를 켜두고 갔다. 아침에 보니깐 오류가 떠서 중지 되어있는게 보였다. 오류는 , ClientError: EFI partition detected. UEFI booting is not supported in EC2. 2. 원인 찾아보니 AD 서버를 VMware에서 만들 때 펌웨어를 BIOS로 할거냐 아니면 UEFI로 할거냐 물어보는데 이거는 제가 서버를 window 2016 으로 만들어서 그렇다. window 2016은 설치할 때 BIOS로 ..
1. AD 서버를 OVF 파일로 만들어서 Import 하는데 오류가 생김.-> VM 버젼을 14로 낮추어 다시 만들었다. 2. 커넥터 파일인 OVA 파일을 Import 하는데 오류가 발생.datastore1 의 용량이 부족하다는 오류.-> NFS_ISO와 NFS_STO를 붙여서 Import 했지만 실패.-> vCenter에서 만들지 않고, ESXI 창에서 만드니깐 됐다. 3. Connector를 Import한 후, IP설정를 정해주고나니 AWS 와 연결이 안된다고 한다.-> DNS를 vCenter IP, 168.126.63.1(인터넷) 으로 설정함 -> DNS suffix search list 부분을 aws.amazon.com 으로 바꿔줬다. 4. Connector와 연결 후, SMS 서비스에서 Conn..