ELK with AWS's EC2, 아무것도 모르고 하라고 해서 한것

AWS EC2를 활용한 ELK 시스템 설치 시도기

Windows 환경 개발자가 AWS EC2 Linux에서 ELK를 설치하며 겪은 기록과 배운 점

1. AWS EC2를 활용한 이유

개인 노트북이 Windows OS 환경이기 때문에, Linux 기반 설치와 운영 테스트를 위해 AWS EC2를 활용했습니다.

2. ELK란 무엇인가?

ELK는 ElasticSearch + Logstash + Kibana의 조합입니다.

• ElasticSearch: 로그를 저장하는 데이터베이스
• Logstash: 클라우드 내에서 발생하는 로그를 ElasticSearch에 전달하는 파이프라인
• Kibana: 브라우저에서 데이터를 시각화하고 탐색하는 도구

3. 기존 데이터 처리 방식과 한계

이전에는 Python으로 데이터를 추출·저장(MySQL), AI 모델로 정제, Tableau로 시각화 및 분석을 수행했습니다.

• 문제점: 데이터량이 방대해지고 구조가 복잡해질 경우 MySQL의 검색 성능에 한계 우려
• 대안: 검색 속도 향상을 위해 ElasticSearch의 도입 가능성을 사전 검토

4. 설치 절차

1. AWS EC2 Linux 접속 (putty 사용)
2. Java 설치
3. ElasticSearch, Logstash, Kibana 설치
4. 환경 변수 변경
5. 서비스 실행

sudo systemctl start elasticsearch.service  # 응답 없음
sudo systemctl start kibana.service         # 응답 없음
    

응답이 전혀 없어 에러 메시지를 분석조차 할 수 없는 상태였습니다.

 

관련 이슈일 수 있는 글: https://grip.news/archives/1669

5. 마주한 문제

위와 같은 현상 이후, 이전에 설치했던 Java 명령어까지 작동하지 않았으며, connection fail 문제가 추가로 발생했습니다.

6. 회고 및 학습 계획

당장 해결책이 떠오르진 않았지만, 커리어를 위해 ELK의 개념·활용 방법·장점을 이해하는 것이 중요하다고 판단했습니다.

관련 학습 자료: https://moondol-ai.tistory.com/112