[Linux] sysstat와 sar을 통한 성능 모니터링 이해

sar 데이터를 사용하면서도 해당 내용에 대한 개념이 정확하지 않은 것 같아 글로 기록해보고자 한다.

 

sysstat란?

sar 데이터에 대해 알려면 먼저 sysstat에 대해 알아야 한다. sysstat은 리눅스 성능 모니터링 패키지로 sar, iostat과 같은 성능 분석 툴을 제공한다. 이 중 가장 많이 쓰이는 sar의 경우에는 cpu, memory, network, disk IO 등 지표를 수치화하여 파일로 저장하는 데 사용된다. 

아래의 명령어를 통해 다운로드 가능하고, epel-release가 먼저 설치되어 있어야 한다.

dnf install sysstat

 

sar (System Activity Reporter)

sar는 sysstat 패키지의 핵심 유틸리티로 시스템의 성능 데이터를 수집하고 분석하기 위한 명령어이다. sar를 통해 실시간으로 성능 데이터를 모니터링하거나 과거 데이터를 기반으로 분석할 수 있다.

 

sar의 구성요소

각각의 구성요소는 성능 데이터 수집, 저장, 분석, 출력 역할을 담당한다.

• sadc (System Activity Data Collector)
  sar의 백엔드에서 시스템 성능 데이터를 수집하고 이를 이진 데이터 파일 형식으로 저장한다.
  데이터를 /var/log/sa 디렉터리에 sa{날짜} 형식으로 저장한다.
  
  
• sadf (System Activity Data Formatter)
  sar에서 생성된 이진 데이터 형식의 파일을 json, csv 등의 포맷으로 변환하여 출력해 준다.
  

  sadf -d /var/log/sa/sa{날짜} -- -r

  
  
  
• sa1 (Data Collection Script)
  sadc를 호출하는 스크립트
  
  
• sa2 (Data Aggregation Script)
  sa1을 통해 생성된 데이터 파일을 기반으로 원하는 지표 옵션을 선택해 사람이 읽을 수 있는 파일 형태로 저장하는 bash 스크립트. /var/log/sa/sar{날짜} 경로에 저장된다.

 

기본 옵션 설정

sysstat 설치 후 기본 옵션은 /etc/sysconfig/sysstat 경로에서 확인 가능하다.

• HISTORY: sa log 파일의 보관 주기. 만약 28보다 큰 숫자로 설정할 경우 한달이 지나면 기존 sa{날짜} 형식의 로그 파일에 덮어씌인다. 
• SADC_OPTIONS: sadc의 동작 옵션을 설정하는 변수로 빈 공백인 경우 sar가 제공하는 지표의 기본값만 사용한다는 뜻이다. disk io에 대한 항목은 기본 항목에 없기 때문에 -S DISK 옵션을 추가하여 디스크 관련 데이터를 수집한다.

 

데이터 수집 주기 설정

/etc/cron.d 경로에 sysstat 파일을 생성하고 다음과 같이 cron 작업을 작성해준다.

매 10분마다 데이터를 수집하여 파일로 저장하도록 설정하였고, 매일 23시 50분에 sar{날짜} 형식으로 데이터가 지표 형식으로 저장된다.
Rocky 8 이상부터는 cron이 아닌 systemd timer을 사용하도록 변경되었다는데... 이건 추후에 찾아보기로..

 

명령어 사용법

자주 사용하는 명령어만 따로 정리해두었다.

1. CPU 사용률

sar -u

• %user: 사용자 레벨 (application level -> ex. 프로그램)에서의 CPU 사용률 
• %nice: 프로세스 우선순위(nice)에 가중치를 준 CPU 사용률 (ex. %nice = 20%라면 CPU 사용 시간의 20%가 우선 순위가 낮은 작업에 할당되었다는 뜻)
• %system: 커널 레벨에서 실행 중인 작업의 CPU 사용률 (ex. 시스템 호출, 드라이버 실행)
• %iowait: CPU가 I/O 작업을 기다리는 동안의 비율
• %steal: 가상화 환경에서 다른 CPU에 의해 강제로 CPU 사용이 중단된 시간의 비율
• %idle: CPU가 완전히 유휴상태에 있는 시간 비율

 

📌 추가 참고사항

%user와 %system
%user가 높으면 사용자 애플리케이션에 부하가 많다는 뜻이고 %system이 높으면 커널 관련 작업이나 I/O 부하가 많다는 뜻

%iowait
높은 값은 디스크나 네트워크 병목 현상을 나타냄

%idle
해당 값이 높으면 시스템이 비효율적으로 사용되고 있을 수 있음

 

2. 메모리 사용률

sar -r

• %kbmemfree: free 상태의 메모리 크기 (물리적으로 남은 메모리 크기)
• %kbavail: swap 없이 새로운 프로세스를 시작할 때 사용할 수 있는 메모리 양
• %kbmemused: 사용 중인 물리 메모리의 크기
• %memused: 사용 중인 메모리의 백분율
• %kbbuffers: 디스크 I/O에 사용되는 버퍼 캐시의 크기
• %kbcached: 디스크에서 읽은 데이터를 캐싱한 크기
• %kbcommit: 현재 시스템에 할당된 메모리의 크기 (실제 사용중인 user 영역 크기 + cache)
• %commit: kbcommit의 점유 백분율
• %kbactive: 최근에 사용된 메모리(활성 상태) 크기
• %kbinact: 오래된 사용 상태로 현재 비활성화된 메모리 크기
• %kbdirty: 아직 디스크에 기록되지 않은 변경된 메모리 크기

 

3. 디스크 사용률

sar -d

• tps: 초당 I/O 전체 IOPS
• rkB/s: 초당 disk에서 읽어진 데이터 크기
• wkB/s: 초당 디스크에 기록된 데이터 크기
• dkB/s: rkB/s + wkB/s
• areq-sz: 평균 I/O 요청 크기
• aqu-sz: I/O 작업 요청 대기열의 평균 길이
• await: I/O 작업 하나가 완료되기까지 걸린 평균 시간 (ms)
• %util: 디스크의 사용률

 

 

 

출처: https://brunch.co.kr/@lars/9