5.2. 분산추적
전체 추적(Trace) 데이터를 탐색하고, 서비스 간 요청 흐름을 분석하는 화면입니다.

개요
분산추적 화면은 마이크로서비스 환경에서 요청이 여러 서비스를 거치는 전체 경로를 시각화합니다. 추적(Trace)은 분산 시스템에서 하나의 요청이 여러 서비스를 거치는 경로를 기록한 데이터입니다.
히트맵(Heatmap)으로 추적 데이터의 분포를 한눈에 파악하고, 응답 시간이 느린 요청이나 오류가 발생한 요청을 빠르게 식별할 수 있습니다. 선택한 영역을 드릴다운하여 개별 추적의 스팬(Span) 상세까지 확인할 수 있습니다.
좌측 사이드바에서 분산추적 메뉴를 클릭하면 진입할 수 있습니다.
참고: 분산추적 데이터는 OpenTelemetry SDK로 계측된 애플리케이션에서 수집됩니다. 아직 연동하지 않은 경우 화면 상단의 OpenTelemetry 통합 버튼을 클릭하여 설정 방법을 확인하세요.
화면 구성
| 영역 | 설명 |
|---|---|
| 상단 헤더 | OpenTelemetry 통합 버튼 |
| 히트맵 | X축(시간) x Y축(응답 시간) 분포 차트. 드래그로 범위 선택 가능 |
| 탭 | 개요 / 추적 / 오류 원인 / 응답 시간 탐색기 / 속성 비교 |
| 필터 | 서비스명, 스팬명, 추적 ID 등의 필터 조건 설정 |
| 차트 선택 | 히트맵에서 선택된 시간·응답 시간 범위 표시 |
| 기준선 | 속성 비교, 응답 시간 탐색기 탭에서 선택 영역 외의 비교 기준 표시 |
| Options | 보조 요청 제외 설정 |
| 콘텐츠 영역 | 탭별 분석 결과 표시 |
주요 기능
히트맵 읽는 법

히트맵(Heatmap)은 시간과 응답 시간의 분포를 색상 밀도로 시각화합니다. 가로축(X축)은 시간, 세로축(Y축)은 추적의 응답 시간을 나타냅니다. 각 셀의 색상은 해당 시간대·응답 시간 범위에 속하는 요청의 밀도를 표현합니다.
- 색상이 진할수록 해당 시간대에 해당 응답 시간 범위의 요청이 많이 발생했음을 의미합니다.
- 색상이 위쪽에 집중되어 있으면, 응답 시간이 긴 요청이 많다는 뜻입니다.
- 특정 시간대에 붉은 점이 나타나면, 그 시점에 오류가 발생했음을 나타냅니다.
- 정상적인 상태에서는 대부분의 점이 **아래쪽(낮은 응답 시간)**에 집중됩니다.
히트맵 좌측 상단에 색상 범례가 표시됩니다. 범례의 왼쪽(밝은색)은 요청이 적은 영역, 오 른쪽(진한색)은 요청이 많은 영역을 나타냅니다.
SLO 응답 시간 목표가 설정된 경우, 히트맵에 목표 임계값 라인이 표시됩니다. 이 라인 위의 요청은 SLO 목표를 초과한 요청입니다.
히트맵 우측의 확대 버튼을 클릭하면 전체 화면 모드에서 히트맵을 더 넓게 확인할 수 있습니다.
히트맵 영역 선택
히트맵에서 마우스로 드래그하여 특정 시간·응답 시간 범위를 선택할 수 있습니다. 선택하면 해당 범위의 추적 데이터만 탭에 표시됩니다.
- 히트맵에서 조사하려는 영역을 마우스로 클릭한 채로 드래그합니다.
- 선택된 범위가 차트 선택 행에 시간 범위와 응답 시간 범위 태그로 표시됩니다.
- 오류 영역을 선택한 경우 오류 태그도 함께 표시됩니다.
- 탭의 콘텐츠가 선택한 범위 기준으로 자동 갱신됩니다.
- 선택을 취소하려면 차트 선택 행의 선택 해제 버튼을 클릭합니다.
히트맵은 일정한 시간 폭의 칸으로 그려집니다. 칸의 시간 폭은 조회 기간에 따라 다음과 같이 정해집니다.
| 조회 기간 | 칸 하나의 시간 폭 |
|---|---|
| 1시간 이하 | 15초 |
| 1시간 초과 | 1분 |
| 6시간 초과 | 5분 |
| 12시간 초과 | 10분 |
| 1일 초과 | 15분 |
| 5일 초과 | 1시간 |
이 표 는 수집 간격이 기본값(15초)일 때의 값입니다. 칸의 시간 폭은 수집 간격보다 좁아지지 않습니다.
드래그로 선택한 시간 범위는 칸 단위로 맞춰집니다. 선택 범위는 드래그가 걸친 첫 칸의 시작 시각부터 마지막 칸의 끝 시각까지입니다. 그래서 마지막 칸에 있는 요청도 결과에 포함됩니다.
팁: 응답 시간이 급증한 영역(히트맵 위쪽의 점 클러스터)을 선택한 뒤 추적 탭이나 오류 원인 탭을 확인하면 문제의 원인을 빠르게 파악할 수 있습니다.
탭별 분석
개요 탭
전체 추적 데이터의 요약 정보를 보여줍니다.
상단 요약 카드에서 다음 지표를 확인할 수 있습니다.
| 지표 | 설명 |
|---|---|
| 서비스 | 추적에 포함된 고유 서비스 수 |
| 요청 | 초당 전체 요청 수 (/s) |
| 오류 | 전체 요청 중 오류 비율 (%) |
| p50 / p95 / p99 | 응답 시간 백분위수 (밀리초) |
하단 테이블에는 루트 서비스(Root Service)와 루트 스팬(Root Span) 이름별로 요청 수, 오류율, 응답 시간 백분위수가 표시됩니다.
참고: 이 테이블은 루트 스팬만 표시합니다. 루트 스팬(Root Span)은 각 추적(Trace)에서 요청이 시작되는 첫 번째 스팬 입니다.
테이블에서 다음 작업을 수행할 수 있습니다.
- 서비스명(루트 서비스) 클릭: 해당 서비스의 샘플 추적 상세(스팬 폭포수 차트) 다이얼로그가 열립니다.
- 스팬명 클릭: 해당 서비스·스팬으로 필터링된 추적 탭으로 이동합니다.
- 오류율 클릭: 해당 서비스·스팬의 오류 원인 탭으로 이동합니다.
- 필터 아이콘(툴팁: 이 스팬으로 필터링): 해당 스팬으로 필터를 적용합니다.
- 추적 아이콘(툴팁: 샘플 추적 보기): 샘플 추적의 스팬 폭포수 차트를 엽니다.
참고: 루트 서비스(Root Service)는 요청이 처음 진입하는 서비스입니다. p50/p95/p99는 전체 요청 중 각각 50%, 95%, 99%가 해당 응답 시간 이내에 처리됨을 의미합니다.
추적 탭

조회된 개별 추적 목록을 테이블로 보여줍니다.
| 컬럼 | 설명 |
|---|---|
| 추적 ID | 추적의 고유 식별자 (앞 8자리 표시) |
| 루트 서비스 | 요청이 처음 진입한 서비스 이름 |
| 이름 | 루트 스팬의 오퍼레이션 이름. 이름이 한 단어이면 뒤에 대상을 흐린 글자로 덧붙여 표시 |
| 상태 | 정상 또는 오류 |
| 응답시간 | 전체 추적의 소요 시간 (밀리초). 막대 그래프로 상대적 크기도 함께 표시 |
추적 ID 또는 이름을 클릭하면 해당 추적의 스팬 폭포수 차트가 다이얼로그로 열립니다.
루트 스팬의 이름이 GET, SELECT 처럼 한 단어이면, 어떤 요청인지 알 수 있도록 이름 뒤에 대상을 흐린 글자로 덧붙입니다.
- Redis 명령:
GET · scheduled:jobs:version - HTTP 요청:
GET · /api/check (10.0.0.5:8080). URL은 경로를 앞에 쓰고 호스트와 포트를 괄호 안에 씁니다. 쿼리 문자열은 표시하지 않습니다.

덧붙인 대상이 80자를 넘으면 80자에서 자르고 …을 붙입니다. AUTH, HELLO 명령에는 비밀번호가 들어 있을 수 있으므로 대상을 덧붙이지 않습니다. 정렬과 필터는 덧붙인 대상이 아니라 원래 이름을 기준으로 합니다.
참고: 조회 결과가 많을 경우 최대 건수 제한 안내 메시지가 표시될 수 있습니다. 히트맵에서 좀 더 좁은 범위를 선택하거나 필터를 추가하여 범위를 줄이세요.
오류 원인 탭

선택된 범위의 추적에서 오류가 발생한 스팬(Span)을 분석하여 보여줍니다.
이 탭은 단순히 오류가 있는 추적을 나열하는 것이 아니라, 어느 서비스의 어느 스팬에서 오류가 기원했는지를 강조합니다.
| 컬럼 | 설명 |
|---|---|
| 서비스 이름 | 오류가 발생한 서비스 |
| 스팬 | 오류가 발생한 스팬 이름 및 레이블 |
| 오류 | 오류 메시지 |
| 샘플 추적 | 해당 오류를 포함한 샘플 추적 ID (클릭 시 스팬 상세 열림) |
| 백분율 | 전체 요청 중 해당 오류가 차지하는 비율 |
샘플 추적 링크를 클릭하면 해당 오류가 포함된 실제 추적의 스팬 폭포수 차트를 확인할 수 있습니다. 오류가 발생한 스팬이 루트 스팬이 아니면, 이 차트는 그 스팬부터 열립니다. 이때 루트 스팬부터 보려면 상위 추적 보기 버튼을 클릭합니다. 오류가 발생한 스팬이 루트 스팬이면, 차트는 루트 스팬부터 열립니다.
응답 시간 탐색기 탭

선택된 추적의 응답 시간 분포를 플레임 그래프(Flame Graph)로 시각화합니다.
플레임 그래프(Flame Graph)는 함수 호출 스택과 소요 시간을 시각화합니다. 각 블록의 너비가 넓을수록 해당 스팬에서 더 많은 시간을 소비했다는 의미입니다.
- 블록을 클릭한 뒤 메뉴에서 샘플 추적 열기를 클릭합니다. 해당 스팬을 포함한 샘플 추적의 스팬 폭포수 차트가 열립니다.
- 히트맵에서 특정 영역을 선택한 후 이 탭을 확인하면, 선택된 요청들에서 어느 스팬이 병목인지 파악하는 데 도움이 됩니다.
속성 비교 탭
히트맵에서 선택한 영역의 추적(차트 선택)과 같은 시간 윈도우 내의 다른 추적(기준선)의 속성 분포를 비교합니다.
선택 영역에서 평소보다 특정 속성 값의 비율이 높다면, 그 속성이 문제의 원인과 관련이 있을 가능성이 있습니다.
각 속성은 카드 형태로 표시되며, 카드 내부에는 속성 값별로 기준선과 차트 선택의 비율이 막대 그래프로 비교됩니다.
팁: 응답 시간이 느린 구간을 히트맵에서 선택한 뒤 속성 비교 탭을 확인하면, 특정 HTTP 상태 코드, 사용자 에이전트, 데이터베이스 테이블 등 특이 속성을 빠르게 식별할 수 있습니다.
각 속성 카드에서 속성 값을 클릭하면 해당 속성을 포함한 샘플 추적의 스팬 폭포수 차트를 확인할 수 있습니다.
필터 사용

필터를 추가하면 특정 서비스, 스팬, 추적 ID에 해당하는 추적만 조회할 수 있습니다.
필터를 추가하는 방법:
-
필터 행의 필터 추가 버튼을 클릭합니다.
-
필드 또는 속성 키 입력란에서 필터링할 항목을 선택합니다.
필드 설명 루트 서비스 이름 요청이 처음 진입한 서비스 이름 루트 스팬 이름 루트 스팬의 오퍼레이션 이름 추적 ID 특정 추적의 고유 ID 목록에 없는 이름을 직접 입력하면 루트 스팬의 속성 키로 거릅니다(예:
http.route). 리소스 속성으로 거르려면 키 앞에rattr:를 붙입니다(예:rattr:service.version). 속성 키에는 영문자·숫자·.·_·-만 쓸 수 있고, 길이는 128자까지입니다. -
연산자를 선택합니다. 속성 키로 거를 때는
=·!=만 고를 수 있습니다.연산자 의미 =일치 !=불일치 ~정규식과 일치. 값의 일부만 맞아도 일치합니다. 예: ^GET은GET으로 시작하는 이름과 일치합니다!~정규식과 일치하지 않음 -
Value 입력란에 값을 입력합니다.
-
체크 버튼을 클릭하여 필터를 적용합니다.
적용된 필터는 칩(chip) 형태로 표시됩니다. 칩을 클릭하면 수정할 수 있고, 칩의 X 버튼을 클릭하면 해당 필터가 삭제됩니다. 모든 필터를 한 번에 제거하려면 전체 해제 버튼을 클릭합니다.
참고: 필터를 여러 개 추가하면 모든 조건을 동시에 만족하는 추적만 조회됩니다.
옵션: 보조 요청 제외
필터 패널의 Options 행에서 모니터링, Kubernetes 관리서버 등의 보조 요청 제외 체크박스를 설정할 수 있습니다.
이 옵션을 활성화하면(기본값) Kubernetes 내부 관리 요청, 모니터링 헬스체크 등의 보조 요청이 분석 결과에서 제외됩니다. 실제 사용자 요청만 분석하려는 경우 이 옵션을 켜두세요.
추적 상세: 스팬 폭포수 차트
추적 목록에서 추적 ID나 이름을 클릭하면, 해당 추적의 스팬 폭포수 차트(Span Waterfall Chart)가 다이얼로그로 열립니다.

스팬 폭 포수 차트는 요청이 각 서비스를 거치는 순서와 소요 시간을 시각화합니다.
다이얼로그 상단에 추적의 요약 정보가 표시됩니다.
| 항목 | 설명 |
|---|---|
| 추적 | "추적" 제목 옆에 전체 추적 ID 표시 |
| 루트 서비스 | 추적을 시작한 서비스 이름. 서비스 색상 점과 함께 표시 |
| 상태 | 정상 또는 오류 |
| 응답 시간 | 추적의 전체 소요 시간 (밀리초) |
차트는 좌측의 서비스 & 작업 영역과 우측의 시간축 영역으로 구성됩니다.
- 가로 막대의 시작 위치는 스팬이 시작된 시점, 길이는 해당 스팬의 소요 시간을 나타냅니다.
- 각 스팬의 서비스 이름은 고유한 색상으로 구분됩니다.
- 자식 스팬은 들여쓰기로 계층 구조를 표현합니다. 상위 스팬의 이름을 클릭하면 하위 스팬을 접거나 펼칠 수 있습니다.
- 오류가 발생한 스팬에는 오류 아이콘이 표시됩니다.
- 서비스 & 작업 머리글 오른쪽의 전환 버튼으로 보이는 스팬의 범위를 바꿀 수 있습니다. 버튼은 추적을 어느 스팬부터 열었는지에 따라 다릅니다.
| 처음 연 위치 | 전환 버튼 | 동작 |
|---|---|---|
| 루트 스팬 (추적 목록, 개요 탭, 속성 비교 탭 등에서 연 추적) | 주요 단계만 보기 / 모두 펴기 | 주요 단계만 보기를 클릭하면 루트 스팬 바로 아래 단계만 남기고 그 아래 스팬을 접습니다. 접힌 행을 클릭하면 한 단계씩 펼쳐집니다. 모두 펴기를 클릭하면 모든 스팬을 펼칩니다. 하위 스팬이 있는 스팬이 없으면 버튼이 표시되지 않습니다. |
| 루트가 아닌 스팬 (오류 원인 탭의 샘플 추적) | 상위 추적 보기 / 선택한 스팬부터 보기 | 상위 추적 보기를 클릭하면 루트 스팬부터 전체 추적을 표시합니다. 선택한 스팬부터 보기를 클릭하면 처음 연 스팬과 그 하위 스팬만 다시 표시합니다. |


스팬에 마우스를 올리면 서비스명, 오퍼레이션명, 응답 시간, 상태, 자식 스팬 수, 유형(HTTP, gRPC, Kafka 등) 정보가 툴팁으로 표시됩니다. LLM 호출 스팬이면 토큰(입력 / 출력) 행도 함께 표시됩니다. 모델 정보가 있으면 모델 행도 표시됩니다.

참고: LLM 애플리케이션의 호출 관계, 토큰, 입력·출력 메시지를 확인하는 방법은 LLM 애플리케이션 추적을 참고하세요.
스팬 상세 정보 확인
스팬의 가로 막대, 정보 버튼 또는 유형 배지를 클릭하면 해당 스팬의 상세 정보 다이얼로그가 표시됩니다.
| 항목 | 설명 |
|---|---|
| 이름 | 스팬의 오퍼레이션 이름 |
| 서비스 | 스팬이 속한 서비스 이름 |
| 시작 시간 | 스팬 시작 시각 |
| 응답시간 | 스팬 소요 시간 (밀리초) |
| 상태 | 정상(OK) 또는 오류(Error) 및 메시지 |
| 스팬 ID | 스팬의 고유 식별자 (복사 가능) |
| 토큰 | LLM 호출 스팬에만 표시. 입력과 출력 토큰의 합계와 각각의 값 (예: 12,430 (in 8,167 / out 4,263)) |
| 모델 | LLM 호출 스팬에만 표시. 호출한 모델 이름. 모델 정보가 없으면 – |
| Details | 프로토콜별 상세 정보 (SQL 쿼리, HTTP 요청 등). 구문 강조가 적용되며 복사할 수 있습니다. |
| 속성 | 스팬에 첨부된 속성 목록 (HTTP URL, DB 쿼리 등). 각 값을 개별 복사할 수 있습니다. |
| 이벤트 | 스팬 실행 중 발생한 이벤트 (예: 예외 스택 정보). 이벤트 발생 시점이 스팬 시작 이후 경과 시간으로 표시됩니다. |
알려진 주요 속성은 알기 쉬운 이름과 원래 키를 함께 표시합니다(예: 응답 상태 코드 / http.status_code, 대상 호스트 / net.peer.name). 이전 이름과 새 이름으로 들어오는 같은 뜻의 속성(예: http.method 와 http.request.method)은 같은 이 름으로 표시됩니다.
SQL 스팬의 개인정보 가림

서버는 SQL 의 ? 자리에 넘긴 값(바인드 값), SQL 문에 직접 적힌 값, DB 오류 메시지에서 개인정보를 찾아 가린 뒤 저장합니다. 원본은 암호화해 따로 저장합니다.
- 가린 값이 있는 스팬의 상세에는 바인드 파라미터 제목 옆에 개인정보 N개 가림 칩이 나옵니다. 가린 값은 일부 또는 전부가
*로 바뀝니다(위 그림의 이름 값H**********g). 칩에 마우스를 올리면 가린 개인정보 유형이 코드로 나옵니다(예:RRN주민등록번호,PHONE전화번호,CARD카드번호,EMAIL이메일). - 주민등록번호·외국인등록번호는 숫자를 모두
*로 바꿉니다(예:******-*******). - 가린 값이 있는 스팬에서 Admin 에게는 복사 버튼 바로 뒤에 민감 정보 보기 버튼이 나옵니다. 버튼을 클릭하면 이 스팬의 원본 값이 보이고, 원본을 표시 중입니다. 창을 닫으면 다시 가립니다 가 나옵니다. 민감 정보 숨기기 버튼을 클릭하거나 창을 닫으면 다시 가립니다.