간혹 AWS EC2를 사용하다 보면 해당 인스턴스에 메인터넌스 스케쥴이 잡힐 때가 있습니다. 이럴 때, 내가 사용하고 있는 인스턴스에 어떤 스케쥴링이 잡혔는디 확인해야 합니다. 그래야지 re-scheduling을 진행할 지, stop and start를 수동으로 할지, 다양한 대안책들을 확인하실 수 있기 때문입니다. 아래 내용은 메인터넌스에 어떠한 종류들이 존재하는지 적어둔 것입니다. 1. 중지(Stop) 또는 만료(Retire)가 예약된 인스턴스 AWS가 기본 호스트에서 복구가 불가능한 결함을 감지하면 인스턴스의 루트 디바이스 유형에 따라 인스턴스의 중지 또는 종료(terminate)를 예약합니다. - Stop이 예약된 경우 : 루트 볼륨이 EBS일 경우 - Terminated가 예약된 경우 : 루트 ..
2021 4월 새로운 기능으로 EC2에서 중단 없이 루트볼륨을 변경할 수 있는 기능이 추가되었습니다. 관련 자료 : aws.amazon.com/ko/about-aws/whats-new/2021/04/ec2-enables-replacing-root-volumes-for-quick-restoration-and-troubleshooting/ Amazon EC2 enables replacing root volumes for quick restoration and troubleshooting Amazon EC2 announces the Replace Root Volume feature that enables customers to replace the root volume for a running instance..
MFA를 분실하여 로그인이 불가능 할때 아래와 같은 방식으로 MFA를 해지할 수 있다. 1단계 : Root Account의 이메일 주소를 통해 인증을 진행한다. 2단계 : 계정에 등록되어있는 전화번호로 인증을 진행한다. 이때 전화번호 등록이 올바르지 않게 되어있거나 계정의 전화번호를 가진 사람이 퇴사를 하였을 때는 아래 사진의 "AWS Support로 문의하십시오" 링크를 선택한다. 그러면 MFA를 초기화 신청 양식을 확인할 수 있다. Verify your email address 링크를 눌러 2단계 : 전화번호 확인을 진행한다. 이때, 지금 전화하기를 눌러도 계정에 설정되어있는 번호로 전화가 오지 않거나 퇴사자 계정 또는 휴대폰 번호 변경등으로 인해 전화 인증을 진행할 수 없다면 아래의 "AWS Sup..
EC2 인스턴스 타입들에는 여러가지 종류의 인스턴스 타입들이 존재한다. 예를들어 t2, c4는 이전 세대 인스턴스 타입들이며, 가급적이면 새로운 세대의 인스턴스 (nitro instance)들을 사용하는 것을 권장한다, nitro instance 타입들에는 아래와 같은 인스턴스 타입들이 존재한다. 가상화: A1, C5, C5a, C5ad, C5d, C5n, C6g, C6gd, D3, D3en, G4, I3en, Inf1, M5, M5a, M5ad, M5d, M5dn, M5n, M5zn, M6g, M6gd, p3dn.24xlarge, R5, R5a, R5ad, R5b, R5d, R5dn, R5n, R6g, R6gd, T3, T3a, 및 z1d 베어 메탈: a1.metal, c5.metal, c5d.meta..
EC2 를 생성할 때 아래와 같은 오류가 발생할 수 있다. "You cannot specify tags for network interfaces if there are no network interfaces being created by the request." 해당 오류는 인스턴스를 생성할 때 기존에 존재하는 네트워크를 지정했을 때 발생할 수 있다. 기존에 존재하는 네트워크 인터페이스에 이미 태그가 지정되어있으면 위와 같은 오류가 발생할 수 있다. 새로운 인스턴스를 생성할 때 기존에 존재하는 nic으로 네트워크 인터페이스를 변경한다. 해당 Nic은 이미 태그가 지정되어있는 상태이다. 이 상태에서 인스턴스를 생성할 때 instance, volumes, Nic에 동일한 태그를 지정하도록 설정한다. 그리고 ..
EC2를 최초로 생성할 때 Pem키를 새로 생성하거나, 기존에 존재하는 키를 선택할 수 있다. 이때 새로운 key pair를 생성하게 되면 당신은 pem키를 하나 받게된다. 이 pem키를 가지고 어떠한 원리로 EC2에 접속할 수 있는 것일까? 우선 ssh키 정보는 현재 사용자의 홈디렉토리(~)의 .ssh에 들어있다. (아래 사진의 사용자는 ec2-user이다) 해당 디렉토리로 들어가 무엇이 있는지 확인해보자. .ssh 디렉토리에 들어가게 되면 아래와 같이 authorized_keys 파일을 확인할 수 있다. 들어가보면 아래와 같은 알 수 없는 문자로 된 긴 문장이 나온다. 이것이 본인이 가지고 있던 Pem키의 public 키이다. AWS에서 key pair를 생성하였을 때 여러분에게는 pem키(비밀키)를..
클라우데라에서 임팔라를 사용하여 데이터 분석하는 법 1. 클라우데라 설치 1. 클라우데라 설치 Cloudera홈페이지에서 QuickStart를 다운받는다. 비워진 칸에 정보를 입력하고 컨티뉴를 누르면 다운받을 수 있다. 2. 클라우데라 실행 클라우데라를 설치하고 실행시키면 Centos 배경에서 Cloudera가 실행된다. Analyze Your Data 를 누르면 다양한 에코 시스템을 사용해서 데이터를 분석할 수 있다. 화면을 들어가면 Impala를 이용하여 테이블을 만들거나 데이터를 분석할 수 있다. 3. 데이터 넣기 Centos 데스트탑 환경이기 때문에 UI가 지원된다 그래서 FTP를 사용하지 않아도 쉽게 넣을 수 있다. 2. 데이터 분석 및 시각화 1. 테이블생성 쿼리문 작성을 작성한다. CREAT..
환경 구성 TYPEOSCPURAMStorageNIC비고MAINWin10I7-770024GBHDD 1TBRealtek VMCenTOS2P 2C8GBHDD 100GBNAT싱글노드-hadoop 재부팅 후 하이브를 실행시키기 위해 메타스토어 초기화 부분을 다시 실행시켰다.아마 한번 초기화를 시키면 재부팅을해도 정상적으로 작동하는 부분인거 같으나 모르기도 했고, 처음부터 다시 해보고 싶어서 실행시켰었다.하지만 초기화 실패 오류가 떴다. 아마 이미 만들어 진 메타데이터가 있어서 오류가 떴던게 당연했던거같다. 메타 스토어의 데이터가 이미 있다고 한다. rm -rf 으로 메타 스토어의 데이터를 삭제해준다. # rm -rf $HIVE_HOME/metastore_db 초기화 후 초기화가 정상적으로 되는것을 확인할 수 있다.