6.2. SRE 보고서
클러스터 자원 현황·예측·SLO·최적화와 사용자 정의 보고서를 한 화면에 모은 탭형 보고서입니다.
SRE란 무엇인가
SRE(Site Reliability Engineering, 사이트 신뢰성 엔지니어링) 는 Google이 정립한 운영 방법론으로, 소프트웨어 엔지니어링 원칙을 시스템 운영에 적용하여 서비스의 신뢰성(가용성·성능)을 감이 아니라 공학적으로 관리하는 접근입니다. 핵심은 "운영을 수작업이 아니라 지표·목표·자동화로 다룬다"는 것입니다.
무엇이 좋은가
- 신뢰성을 측정 가능한 목표로 관리: 사용자 체감 지표(SLI)를 정의하고, 목표치(SLO) 대비로 상태를 판단합니다. "느린 것 같다"가 아니라 "목표 99.9% 중 지금 99.5%"처럼 숫자로 말합니다.
- 속도와 안정의 균형 — 오류 예산(Error Budget): 100% 완벽을 좇는 대신 SLO를 정하고, 목표에서 허용되는 실패분(오류 예산) 안에서 배포 속도를 냅니다. 예산이 남으면 빠르게 배포하고, 소진되면 안정화에 집중합니다. 개발 속도와 안정성의 트레이드오프를 데이터로 조율합니다.
- 반복 작업(Toil) 감소: 수동 대응을 자동 검사·알림·표준화로 대체해, 사람은 근본 개선에 집중합니다.
- 선제적 대응: 용량 고갈·회귀·이상 징후를 사후가 아니라 예측·자동 감지로 미리 잡습니다.
무엇을 집중해서 봐야 하나
- SLI / SLO / 오류 예산: 가용성·응답시간 등 사용자 체감 핵심 지표를 목표 대비로 추적하고, 오류 예산 소진 속도를 봅니다.
- 골든 시그널(Four Golden Signals): 지연(Latency)·트래픽(Traffic)·오류(Errors)·포화(Saturation) 네 가지. 이 4개만 잘 봐도 대부분의 문제를 조기에 포착할 수 있습니다.
- 꼬리 지연(P95·P99): 평균이 아니라 백분위로 "가장 느린 경험"을 봅니다(백분위를 쓰는 이유는 APM 대시보드의 P50·P95 설명 참고).
- 용량 계획: 미래 사용량을 예측해 리소스 고갈에 대비하고, 요청(request) 대비 실사용으로 과다·과소 할당을 교정합니다.
- 회귀와 근본 원인: 배포 후 성능 저하·오류 증가(회귀)와 반복 인시던트의 근본 원인을 추적합니다.
제품이 제공하는 SRE 기능
OPENMARU Observability는 위 SRE 초점을 아래 기능으로 지원합니다.
| SRE 초점 | 제품 기능 |
|---|---|
| SLO·오류 예산 | 애플리케이션 SLO 탭의 가용성·응답시간 SLO와 오류 예산 소진 알림, 본 보고서의 SLO Golden Signals 탭 |
| 골든 시그널(지연·트래픽·오류·포화) | 본 보고서의 SLO Golden Signals 탭에서 4대 신호를 요약 |
| 지연 백분위(P50·P95·P99) | APM 대시보드의 P50·P95, 분산추적의 p50·p95·p99 |
| 근본원인분석(RCA) | 인시던트의 원인 서비스·전파 경로·인과 타임라인 자동 분석 |
| 용량 계획·예측 | 본 보고서의 자원 예측(Forecast) 탭, 차트 예측·이상치 탐지 |
| 적정 사이징(라이트사이징) | 본 보고서의 적정 사이징 추천 탭(요청·제한 대비 실사용) |
| 정기 보고·공유 | SRE 정기 보고서 탭(스케줄), PDF·Excel 출력 |
| Toil 감소 | 80여 개 자동 검사(Inspection), 자동 알림, 자동 서비스 맵 |
개요
SRE 보고서는 클러스터의 자원 현황, 미래 사용량 예측, SLO 정기 보고, 자원 최적화 추천, 그리고 사용자가 직접 조립하는 커스텀 보고서를 하나의 화면에 탭으로 모은 보고서 뷰입니다.
용량 계획과 SLO 정기 보고가 필요한 SRE·운영자, 팀 네임스페이스의 자원 효율을 확인하려는 개발자, 주간·월간 요약이 필요한 관리자가 활용합니다. 화면 안에서 대시보드·표·차트로 확인하는 것은 물론, PDF·Excel 파일로 내려받아 배포·공유할 수 있습니다. 모든 파일 생성은 서버에서 수행되므로 인터넷이 없는 폐쇄망 환경에서도 동작합니다.
좌측 사이드바에서 SRE 보고서 메뉴를 클릭하면 진입합니다. 선택한 탭은 주소(URL)에 반영되어 북마크와 링크 공유가 가능합니다.
공유 기간 선택기
화면 우측 상단의 기간 선택기로 조회 구간을 지정합니다. 프리셋(1h · 6h · 1d · 7d · 30d, 기본 7d)과 사용자 지정(Custom)이 있으며, 사용자 지정을 고르면 시작·종료 날짜/시각 피커와 적용 버튼이 나타납니다. 선택한 실제 구간은 헤더에 YYYY-MM-DD HH:mm ~ … 형태로 표기됩니다.
참고: 이 상단 기간 선택기는 자원 예측·SRE 정기 보고서·커스텀 보고서 탭에서는 숨겨집니다. 이 세 탭은 본문 안에 자체 기간(및 간격·스케줄) 컨트롤을 갖고 있기 때문입니다.
탭 구성
SRE 보고서는 다음 탭으로 구성됩니다. 비-Kubernetes 환경에서는 네임스페이스·적정 사이징 추천 탭이 자동으로 숨겨집니다.
| 탭 | 용도 |
|---|---|
| 클러스터 | 클러스터 전체 CPU·메모리 현황과 집계 |
| 노드 | 노드별 자원 사용량과 효율 |
| 네임스페이스 | 네임스페이스별 요청량(request) 대비 실사용 — Kubernetes 전용 |
| 자원 예측(Forecast) | 과거 추이 기반 미래 사용량 예측(용량 계획) |
| SLO Golden Signals | 지연·트래픽·오류·포화 4대 신호 요약 |
| SRE 정기 보고서 | 주기적인 SLO 보고서 및 보고 스케줄 설정 |
| 적정 사이징 추천 | Pod 요청·제한 대비 실사용 기반 사이징 추천 — Kubernetes 전용 |
| 커스텀 보고서 | 사용자가 직접 섹션·패널을 조립해 PDF·Excel로 출력하는 보고서 빌더 |
참고: 각 표의 섹션 제목 옆 ⓘ 아이콘에 마우스를 올리면, 표에 표시된 값이 기간 평균인지·최근값인지·증분·개수인지 집계 방식을 안내합니다. 값을 해석하기 전에 확인하세요.
표준 탭
클러스터 · 노드 · 네임스페이스
- 클러스터: 클러스터 전체의 CPU·메모리 현황과 집계를 보여줍니다. 상단 공유 기간 선택기로 조회 구간을 바꿀 수 있습니다.
- 노드: 노드별 자원 사용량과 효율을 확인합니다. 어느 노드가 포화 상태인지, 여유가 있는지 파악하는 데 씁니다.
- 네임스페이스: 네임스페이스별 요청량(request) 대비 실사용을 비교해 자원 효율을 보 여줍니다. Kubernetes 전용입니다.
노드 또는 네임스페이스 행을 클릭하면 요약 게이지와 CPU/메모리 추이 라인 차트를 담은 상세 다이얼로그가 열리며, 시간별 상세를 Excel·PDF로 내려받을 수 있습니다. 각 탭 우상단의 내보내기 버튼으로는 현재 표시 중인 전체 리스트를 PDF·Excel 보고서로 저장할 수 있습니다(클러스터 탭과 동일).
자원 예측 (Forecast)
과거 추이를 바탕으로 미래 자원 사용량을 예측해 증설 시점을 판단하도록 돕습니다.
- 예측할 대상(네임스페이스·노드 등)을 선택합니다.
- 예측 알고리즘을 선택합니다.
- Auto(자동 선택): 데이터 특성에 따라 최적 알고리즘을 자동으로 선택합니다.
- 선형회귀(Linear): 단순 추세선. 꾸준히 증가·감소하는 지표에 적합.
- Holt-Winters: 계절성(요일·시간대 반복 패턴)을 반영.
- ARIMA / SARIMA: 시계열 통계 모델. SARIMA는 계절성까지 반영.
- 예측 구간(Forecast Horizon) 을 지정하면 그만큼 미래를 예측합니다.
용량 대비 여유(headroom)가 안전 마진 이하로 떨어질 것으로 예측되면 경고가 표시됩니다.
참고: 예측은 과거 데이터의 품질과 양에 의존합니다. 데이터가 충분히 쌓이지 않았거나 패턴이 불규칙하면 예측 정확도가 낮아질 수 있습니다.
SLO Golden Signals
지연·트래픽·오류·포화의 4대 신호를 요약해 서비스 건전성을 한눈에 보여줍니다. 탭 우상단의 Excel·PDF 버튼으로 Golden Signals 탭 전체(4대 신호 요약과 추이, 카테고리별 분해)를 한글/영문 보고서로 내보낼 수 있습니다.
SRE 정기 보고서 (SLO Periodic Report)
SLO 현황을 정기 보고서 형태로 제공하고, 보고 스케줄을 설정할 수 있습니다. 주간·월간 SLO 준수 현황을 정기적으로 확인하는 데 활용합니다.
보고서를 받을 채널은 Slack · Teams · Email(SMTP) · Webhook 중에서 고릅니다. 채널을 먼저 설정의 알림채널 연결에서 구성해 두어야 목록에 나타납니다.
참고: Email(SMTP)로 받으면 PDF·Excel이 첨부 로 옵니다. 첨부가 상한(기본 20MB)을 넘으면 첨부를 빼고 본문에 그 사유를 적어 보냅니다. 다른 채널은 파일 대신 링크를 전달합니다.
적정 사이징 추천 (Rightsizing)
컨테이너의 요청(requests)·제한(limits)과 실제 사용량을 비교해 과다·과소 할당을 찾아내고 적정 사이징을 추천합니다(KPI 타일 형태). 자원 낭비를 줄이거나 부족한 할당을 보완하는 데 씁니다. Kubernetes 전용입니다.
참고: SLO는 서비스가 지켜야 할 품질 목표(Service Level Objective)이고, 에러 버짓은 그 목표가 허용하는 실패 여유량입니다. 소진율로 서비스 건전성을 판단합니다.
커스텀 보고서
커스텀 보고서 탭은 목록 화면과 편집기 사이를 오가는 보고서 빌더입니다. 원하는 지표를 원하는 기간·간격으로 묶어 PDF·Excel 보고서로 출력합니다.
템플릿에서 시작하기
- 목록 상단 갤러리에서 내장 템플릿 카드를 클릭하면 초안 편집이 시작됩니다(저장하기 전까지는 목록에 남지 않습니다).
- 빈 보고서로 시작하려면 새 보고서를 선택합니다.
제공되는 내장 템플릿은 다음과 같습니다.
| 템플릿 | 내용 |
|---|---|
| RED + USE | 서비스/APM 헬스와 자원을 함께 |
| USE — 자원(노드·Pod) | 리소스 관점 사용률·포화도·오류 |
| Golden Signals — SRE 요약 | 4대 신호 + 노드 자원 + 활성 사용자 |
| SLO / 에러 버짓 | SLO 준수율과 에러 버짓 소진 |
| 자원 현황·추세(Capacity) | 용량 현황과 추이 |
| 사용자 활성도 | DAU/WAU/MAU 활성 사용자 |
| 서비스 요약(표) | 표 형식 요약 예시 |
섹션과 패널 구성
보고서는 여러 섹션으로 이뤄지고, 각 섹션은 제목·서술 노트와 여러 패널을 담습니다.
- 섹션 추가로 섹션(제목 + 서술 노트)을 만듭니다.
- 섹션의
+메뉴로 패널을 추가합니다. 패널은 세 종류입니다.
| 패널 종류 | 설명 |
|---|---|
| PromQL 패널 | 자유 PromQL 쿼리( 변수 치환 가능). 유형은 시계열·단일 값·표 중 선택 |
| 활성 사용자 패널 | 사용자수 추정 데이터(clients / sessions) |
| 보안 이벤트 패널 | 보안 공격 탐지 이벤트 |
참고: PromQL 패널의 쿼리 문법과 지원 범위는 Cache PromQL 쿼리 가이드를 참고하세요. 특히 요청 수 지표를
rate()로 감싸면 안 되는 등 주의점이 있습니다.
변수와 출력 모드(결합 / 반복)
변수 바에서 네임스페이스·Pod 등 변수를 정의합니다(레이블 조회형·직접 입력형, 다중 선택·종속 변수 지원 — 커스텀 대시보드의 변수와 같은 방식). 여러 값을 선택했을 때의 출력 방식은 토글로 정합니다.
| 모드 | 설명 |
|---|---|
| 결합(Combined) | 하나의 차트·표에 대상별 계열을 겹쳐 비교합니다 |
| 반복(Repeat) | 지정한 반복 기준 변수의 값마다 섹션·페이지를 복제합니다 |
팁: 네임스페이스 몇 개를 나란히 비교하려면 결합, 네임스페이스마다 같은 구성의 페이지를 따로 만들려면 반복을 선택하세요. 반복은 대상이 많으면 페이지 수가 급격히 늘어나므로 분량 상한(아래 참고)에 유의하세요.
기간 · 간격 · 방향
편집기 툴바에서 다음을 지정합니다.
| 컨트롤 | 옵션 |
|---|---|
| 기간(Period) | 1h / 6h / 1d / 7d / 30d 또는 사용자 지정(절대 구간) |
| 간격(Interval) | 자동 · 1분 · 5분 · 15분 · 1시간 · 1일 |
| 방향(Orientation) | 세로(Portrait) / 가로(Landscape) |
간격은 데이터를 얼마나 촘촘히 샘플링할지 정합니다. 간격이 짧을수록 상세하지만 데이터 포인트가 많아집니다. 계열(컬럼)이 많으면 방향을 가로로 두는 것이 읽기 좋습니다.
미리보기와 저장
- 미리보기로 화면에서 보고서를 확인합니다.
- 저장을 누르면 목록에 저장됩니다. 목록에서 열기·이름 변경·삭제할 수 있습니다.
참고: PDF·Excel 출력은 현재 편집 상태를 저장 없이 렌더합니다. 템플릿 초안을 출력해도 목록에 저장되지 않으며, 저장은 명시적 저장 버튼으로만 이뤄집니다.
PDF 출력
PDF 버튼으로 내려받습니다. 테이블 모드를 선택할 수 있습니다.
| 모드 | 내용 |
|---|---|
| 요약 | 섹션마다 차트와 함께 계열별 요약 표(지표·항목·최소·평균·최대·최근)를 넣습니다 |
| 전체 | 요약 표에 더해 시각별 전체 그리드까지 포함합니다. 길면 자동으로 페이지를 나누고 각 페이지에 머리글을 반복합니다 |
계열(컬럼)이 많아 한 페이지 폭을 넘으면, 전체 그리드는 여러 블록으로 나뉘어 "계열 a–b / n"처럼 어느 계열 범위인지 표기됩니다. 각 컬럼 머리글은 지표(상단, 병합)와 항목(하단) 2단으로 표시됩니다.
Excel 출력
Excel 버튼으로 내려받습니다. 파일은 다음 특징을 가집니다.
- 섹션마다 별도 시트로 분리됩니다.
- 각 시트에 시각별 전체 그리드가 담기며, 머리글은 지표·항목 2단으로 표시됩니다.
- 숫자에 서식(천 단위 콤마·소수 둘째 자리)이 적용됩니다.
- 그리드 아래에 상호작용 가능한 네이티브 라인 차트가 섹션마다 자동으로 삽입됩니다(엑셀에서 계열 토글·확대·편집 가능).
- 반복 모드에서는 변수 값마다 시트가 분리됩니다.
보고서 내보내기 / 가져오기 (JSON)
- 내보내기로 보고서 정의를 JSON 파일로 내보냅니다.
- 가져오기로 JSON 파일을 불러옵니다(가져올 때 이름을 지정합니다).
백업·버전 관리, 다른 환경으로의 이식, 팀 공유에 활용합니다. 최대 1MB, 패널 200개, 지원 스키마 버전만 수락하며, 형식 오류는 구체적 사유와 함께 안내됩니다.
활용 시나리오
주간 SLO 보고서 만들기
- 커스텀 보고서 탭에서 SLO / 에러 버짓 템플릿을 엽니다.
- 기간을 7d, 간격을 적절히(예: 1시간) 지정합니다.
- 필요한 네임스페이스를 변수로 선택하고, 여러 개면 반복 모드로 두어 네임스페이스마다 페이지를 나눕니다.
- 미리보기로 확인한 뒤 PDF(요약) 로 내려받아 주간 회의 자료로 공유합니다.
용량 계획용 예측 보고
- 자원 예측(Forecast) 탭에서 대상 네임스페이스·노드를 선택합니다.
- 계절성이 있으면 Holt-Winters 또는 SARIMA, 단순 증가면 선형회귀를 선택합니다.
- 예측 구간을 원하는 만큼 지정해 여유(headroom) 경고가 뜨는지 확인합니다.
- 커스텀 보고서의 자원 현황·추세(Capacity) 템플릿과 함께 사용해 현황과 예측을 한 문서로 정리합니다.
자원 최적화 검토
- 적정 사이징 추천 탭에서 과다·과소 할당된 컨테이너를 식별합니다.
- 실제 사용량 대비 요청·제한 값을 확인해 조정 대상을 정합니다.
- 조정 근거로 삼을 수 있도록, 커스텀 보고서의 USE — 자원 템플릿을 Excel로 내려받아 시각별 상세를 첨부합니다.
자주 묻는 질문
네임스페이스·적정 사이징 추천 탭이 보이지 않습니다
비-Kubernetes 환경(kube_state_metrics 없음)에서는 이 두 탭이 자동으로 숨겨집니다. Kubernetes 클러스터에서만 제공됩니다.
상단 기간 선택기가 사라졌습니다
자원 예측·SRE 정기 보고서·커스텀 보고서 탭은 본문 안에 자체 기간(및 간격·스케줄) 컨트롤이 있어 상단 공유 선택기가 숨겨집니다. 해당 탭 본문의 컨트롤을 사용하세요.
미리보기·출력이 거부되고 경고가 뜹니다
분량 상한을 초과했을 가능성이 큽니다. 총 확장 패널은 200개, 총 데이터 포인트는 10,000개가 상한입니다. 간격이 너무 촘촘하거나 기간이 너무 길거나, 네임스페이스×Pod 반복이 과도하면 상한을 넘습니다. 간격을 넓히거나, 기간을 줄이거나, 반복 대상을 줄여 다시 시도하세요.
활성 사용자·보안 이벤트 패널이 미리보기에 안 나옵니다
사용자수 추정·보안 이벤트 패널은 별도 데이터 소스를 사용하며, 미리보기에는 나오지 않고 PDF·Excel 출력 시 렌더링됩니다. 출력 파일에서 확인하세요.
출력했는데 목록에 저장되지 않았습니다
PDF·Excel 출력은 현재 편집 상태를 저장 없이 렌더합니다. 보고서를 목록에 남기려면 저장 버튼을 별도로 눌러야 합니다.
인터넷이 없는 환경에서도 PDF/Excel이 되나요
네. 모든 PDF·Excel은 서버가 직접 생성하며(헤드리스 브라우저를 쓰지 않음), 인터넷이 없는 폐쇄망 환경에서도 동작합니다.
용어
| 용어 | 설명 |
|---|---|
| SLO / SLI | 서비스가 지켜야 할 품질 목표 / 그 측정 지표 |
| 에러 버짓(Error Budget) | SLO 목표가 허용하는 실패 여유량. 소진율로 건전성 판단 |
| RED | Rate(요청률)·Errors(오류)·Duration(지연) — 서비스 관점 3지표 |
| USE | Utilization(사용률)·Saturation(포화)·Errors(오류) — 자원 관점 방법론 |
| Golden Signals | 지연·트래픽·오류·포화 4대 신호(Google SRE) |
| 예측(Forecast) | 과거 추이로 미래 사용량을 추정. 예측 구간(Horizon)을 지정 |
| 적정 사이징(Rightsizing) | 요청·제한 대비 실사용 기반 자원 추천 |
| 섹션(Section) / 패널(Panel) | 보고서 구획(제목·서술·패널) / 개별 차트·표·단일 값 |
| 결합 / 반복 | 여러 변수 값을 겹쳐 비교 / 값마다 복제하는 출력 모드 |
| 간격(Interval) | 데이터 샘플링 스텝(1분·5분 등) |
| 방향(Orientation) | PDF·Excel 출력의 세로·가로 |