[AWS] Native Observability - Logs 실습

AWS Community Day에서 실습한 내용을 바탕으로 공부한 것을 정리해보고자 한다.

 

AWS가 자체적으로 제공하는 모니터링 도구를 사용해보는 실습
CloudWatch, X-Ray와 같은 모니터링 도구를 사용하여 다양한 환경에서 시스템의 동작, 성능 등을 능동적으로 파악할 수 있다.

 

CloudWatch Logs란?

CloudWatch Logs를 사용하면 시스템, 애플리케이션, AWS 서비스의 로그를 한 곳에서 쉽게 확인할 수 있다. 따라서 특정 에러 코드나 패턴을 검색하기 용이하며, 로그를 특정 필드로 필터링하거나 아카이브하여 추후 분석하기에도 편하다. 또한, CloudWatch Logs Insights로 쿼리를 사용해 로그 데이터를 검색 및 분석할 수 있다.

 

Logs Insights 실습 - 시간이 지남에 따라 다양한 유형의 애완동물 입양 패턴 확인하는 쿼리 짜기

쿼리를 실행하면 PetListAdoptions ECS 클러스터에서 실행된 최근 20개의 로그 이벤트가 표시된다. 시간 경과에 따라 로그 이벤트의 분포를 히스토그램으로 확인할 수도 있고, JSON 형식으로 쿼리 결과를 확인할 수도 있다.

 

또한 filter 명령을 사용해 조건을 추가할 수도 있으며, stats 를 사용하여 데이터의 집계도 가능하다.

 

stats를 사용하여 5분동안 감지된 메시지 수를 계산하는 쿼리

fields @timestamp, @message
| stats count(@message) as number_of_events by bin(5m)
| limit 20

bin()은 @timestamp 값을 지정한 기간으로 반올림한 후 자른다. 예를 들어 bin(5m)은 timestamp 값을 5분 단위로 반올림한다는 뜻이다.

 

결과가 이렇게 표시되며, 시각화 탭을 통해 그래프로도 볼 수 있다.

 

 

결과값 대시보드에 추가

쿼리 실행 결과를 대시보드에 추가할 수 있다. 대시보드에 다양한 쿼리 결과를 추가하고, 이를 시각화하여 가시성 높은 대시보드를 만들 수 있다. 이런 방식으로 대시보드를 구성하게 되면 특정 데이터나 필드의 발생 빈도 등을 한눈에 파악하는 데 용이하다.

 

 

아래와 같이 AWS CLI를 통해 쿼리를 실행하는 것도 가능하다.

후에 parse를 사용해서 원하는 정보를 추출하고, 정규 표현식을 사용하는 실습도 진행했지만… 실습지를 그대로 따라하는 것이었기 때문에 더 적진 않겠다.

 

 

Log Anomaly Detector & Pattern Analysis

Amazon CloudWatch Logs Anomaly을 사용하여 로그 패턴을 빠르게 파악하고 분석할 수 있다.

 

CloudWatch Logs Insights를 통해 특정 로그 그룹을 선택한 후, 쿼리 명령어를 사용해 원하는 필드와 데이터만 필터링하여 확인할 수 있다. 패턴 탭을 통해 로그 이벤트의 특정 패턴을 세부적으로 확인할 수 있고, 로그 데이터의 비정상적인 패턴을 자동으로 식별하여 문제를 신속하게 탐지할 수 있다.

 

 

패턴 탭의 세부 내용

이벤트 개수/비율을 통해 어떤 로그 패턴이 자주 발생하는 지 확인할 수 있으며 ERROR 표시를 통해 각 패턴의 문제를 빠르게 확인할 수 있다.

 

 

Live Tail

실시간으로 로그 데이터를 모니터링하고 특정 이벤트나 패턴을 신속하게 확인할 수 있는 기능

실시간 이벤트 흐름을 직관적으로 보여주기 때문에 문제를 빠르게 감지하고 해결할 수 있다. CloudWatch Logs에서 Live Tail을 사용하면 DevOps 팀은 프로세스가 올바르게 시작되었는지 또는 새 배포가 원활하게 진행되었는지 빠르게 확인할 수 있다.

 

특정 키워드를 강조하여 원하는 결과값을 식별하는 방법

 

 

상세 로그 확인

 

 

민감 데이터 마스킹

AWS CloudWatch Logs에서는 민감 데이터를 보호하기 위한 데이터 마스킹 기능을 지원하여, 로그 데이터에 포함될 수 있는 개인정보나 중요한 정보를 안전하게 관리할 수 있다.

로그 그룹 생성
콘솔에서 새로운 로그 그룹을 생성하고, 이름을 dataprotection-log로 지정

 

데이터 보호 정책 생성
CreditCardNumber, CreditCardSecurityCode와 같은 필드를 민감 데이터로 지정하여 로그에 포함될 경우 해당 정보를 마스킹하도록 구성

 

로그 그룹 내 마스킹된 데이터 확인
민감 데이터 필드가 ************로 표시되는 걸 확인할 수 있음