4.1. 모델
개요
AI 에이전트는 LiteLLM 을 거쳐 AI 모델을 부릅니다. LiteLLM 은 여러 AI 모델을 한 주소로 쓰게 해 주는 중계 서버입니다. 「모델」 화면은 두 가지를 보여 줍니다. 하나는 LiteLLM 이 내놓는 모델 목록이고, 다른 하나는 프로파일(AI 에이전트의 설정 묶음, 용어 사전)마다 어떤 모델을 쓰는지입니다. 여러 AI 에이전트가 답하지 않거나 오류를 보일 때, 모델을 바꾸기 전에 지금 쓰는 모델을 확인할 때 이 화면을 봅니다.
권한: 화면은 모든 사용자에게 보입니다. 모델 연결을 시험하는 「점검」 버튼은 관리자에게만 보입 니다.
모델을 바꾸는 방법은 3.4. 프로파일 모델과 설정 대신 고치기를 봅니다. LiteLLM 서버 설정과 모델 등록은 운영자(AAS 를 설치하고 서버를 관리하는 사람, 용어 사전)의 일입니다.
화면 열기
왼쪽 메뉴의 「내 AI 에이전트 › 모델」을 누릅니다. 단축키는 g 다음 m 입니다.
제목 옆의 「CogentAI LiteLLM」 표시에 마우스를 올리면 LiteLLM 주소와 키 출처가 설명 말풍선으로 나옵니다.
폴백은 주 모델이 답하지 못할 때 대신 쓰는 모델입니다.
위쪽에 보기 카드가 네 개 있습니다. 「모델」「프로파일별 설정」 카드를 누르면 아래 탭이 바뀝니다. 「폴백 실패 작업」「안 쓰는 모델」 카드는 숫자만 보여 줍니다.
| 카드 | 뜻 |
|---|---|
| 모델 | 「모델」 탭을 엽니다. 둘째 줄에 LiteLLM 모델 수와 이름 거르기 상태가 나옵니다. |
| 프로파일별 설정 | 「프로파일별 설정」 탭을 엽니다. 둘째 줄에 「문제 {n} · 주의 {n}」이 나옵니다. |
| 폴백 실패 작업 | 폴백 설정 오류로 실패한 예약 작업의 수입니다. 0이면 초록, 0이 아니면 빨강입니다. |
| 안 쓰는 모델 | LiteLLM 에는 있으나 어느 프로파일 설정에도 없는 모델의 수입니다. |
「폴백 실패 작업」이 0이 아니면 「프로파일별 설정」 탭에서 「문제」인 프로파일 줄을 열고 「확인할 것」을 읽습니다.
모델 탭
「모델」 탭은 LiteLLM 이 내놓는 모델을 한 줄에 하나씩 보여 줍니다. 「모델」 카드의 둘째 줄에 「LiteLLM {n} · cogentai-aas* · 숨김 {n}」이 나옵니다.
그림 4.1-1. 모델 목록
AAS 는 LiteLLM 모델 중 이름이 cogentai-aas 로 시작하는 모델만 목록에 보여 줍니다. 다른 이름의 모델은 「숨김」으로 세어지고 목록에서 빠집니다. 이름으로 거르지 않는 설치에서는 「전체 표시」가 나옵니다.
숨김 대상이어도 프로파일이 쓰고 있는 모델은 목록에 나오고, LiteLLM 칸에 「AAS 모델 아님」이 붙습니다. 이 표시는 숨긴 모델이 아니라 지금 프로파일이 쓰는 모델에 붙는 경고입니다. 이런 모델에는 질문 가드레일이 적용되지 않을 수 있습니다.
| 열 | 뜻 |
|---|---|
| 모델 | 모델 이름입니다. AAS 기본 모델 옆에는 「기본 모델」 표시가 붙습니다. |
| LiteLLM | 「LiteLLM 에 있음」「LiteLLM 에 없음」「LiteLLM 확인 불가」 중 하나입니다. 같은 칸에 「AAS 모델 아님」「사용하지 않음」과 점검 결과도 나옵니다. |
| 주 모델로 쓰는 프로파일 | 이 모델을 주 모델로 쓰는 프로파일입니다. 5개 이상이면 개수만 나옵니다. |
| 폴백으로 쓰는 프로파일 | 이 모델을 폴백으로 쓰는 프로파일입니다. |
| 보조·예약 작업 지정 | 보조 작업이나 예약 작업에 이 모델을 지정한 곳입니다. 처음에는 숨겨져 있고, 표 위의 「열 고르기」에서 켭니다. |
표시 읽기
| 표시 | 뜻 | 할 일 |
|---|---|---|
| LiteLLM 에 없음 | 프로파일 설정에는 있으나 LiteLLM 이 내놓지 않는 모델입니다. 답하지 못할 수 있습니다. | 그 프로파일의 모델을 바꿉니다. |
| LiteLLM 확인 불가 | LiteLLM 목록을 받지 못해 확인하지 못했습니다. | 아래 「목록이 비어 있거나 오류가 나올 때」를 봅니다. |
| AAS 모델 아님 | 프로파일이 쓰고 있으나 이름이 cogentai-aas 로 시작하지 않는 모델입니다. 질문 가드레일이 적용되지 않을 수 있습니다. | 4.2. 안전장치를 보고 AAS 모델로 바꿉니다. |
| 사용하지 않음 | 어느 프로파일의 주 모델이나 폴백도 아닙니다. | 보통 조치가 필요 없습니다. |
모델 행 서랍
모델 행을 누르면 서랍이 열립니다. 서랍은 화면 오른쪽에서 열리는 상세 창입니다(용어 사전).
- 「LiteLLM」 줄: 목록에 있는지, AAS 모델인지 보입니다.
- 「보조·예약 작업 지정」 줄: 보조 작업과 예약 작업에서 이 모델을 쓰는 곳입니다.
- 「주 모델로 쓰는 프로파일」「폴백으로 쓰는 프로파일」: 프로파일 이름을 누르면 「프로파일별 설정」 탭에서 그 프로파일을 찾아 보여 줍니다.
- 「점검」: 관리자에게만 보입니다.
그림 4.1-2. 모델 행 서랍
연결 확인(점검)
점검은 모델이 실제로 답하는지 시험합니다. 이 모델에 1토큰짜리 호출을 한 번 보냅니다.
- 모델 행을 눌러 서랍을 엽니다.
- 「점검」 영역의 「점검」 버튼을 누릅니다.
- 「호출하는 중…」이 끝나기를 기다립니다.
- 결과를 확인합니다.
| 결과 | 뜻 |
|---|---|
| 응답 {n}초 | 모델이 답했습니다. 응답 시간이 함께 나옵니다. |
| 실패 | 모델이 답하지 않았습니다. 아래에 LiteLLM 이 돌려준 오류가 나옵니다. 목록의 LiteLLM 칸에는 「점검 실패」로 남습니다. |
「LiteLLM 에 없음」인 모델은 「점검」 버튼이 꺼집니다. 화면을 새로 읽기 전까지는 결과가 목록의 LiteLLM 칸에도 「응답 {n}초」나 「점검 실패」로 남습니다. 점검을 누를 때마다 모델 서버에 요청이 갑니다.
점검이 「실패」이면 모델 서버나 모델 등록에 문제가 있는 것입니다. 오류 문구를 그대로 복사해 운영자에게 알립니다.
프로파일별 설정 탭
「프로파일별 설정」 탭은 프로파일마다 모델 설정이 맞는지 보여 줍니다.
| 열 | 뜻 |
|---|---|
| 프로파일 | 프로파일 이름입니다. |
| 상태 | 「문제」「주의」「이상 없음」 중 하나입니다. |
| 주 모델 | 프로파일의 주 모델입니다. 설정 파일이 없으면 「설정 파일 없음」이 나옵니다. |
| 폴백 | 폴백 모델입니다. |
| 확인할 것 | 문제나 주의의 이유입니다. |
그림 4.1-3. 「프로파일별 설정」 탭
「프로파일별 설정」 카드의 둘째 줄에 「문제 {n} · 주의 {n}」이 나옵니다. 문제가 있으면 이 카드가 주의색으로 보입니다.
「확인할 것」에 나오는 대표적인 내용은 다음과 같습니다.
- 폴백 경로 오류 흔적: 폴백 때문에 실패한 예약 작업이 있습니다. 폴백을 이미 지웠으면 「주의」로 낮아지고, 다음 실행에서 사라지는지 확인합니다.
- 제공자 목록에는 있으나 LiteLLM 에 없는 모델
- AAS 모델이 아닌 모델을 쓴다는 경고: 가드레일이 적용되지 않습니다.
프로파일 행을 누르면 서랍에 「주 모델」「폴백」「보조 작업」「예약 작업 지정」과 「확인할 것」이 나옵니다. 폴백이 없으면 「LiteLLM 으로만 연결됨」이 나옵니다. 「관련 항목」의 링크로 다음 화면에 갑니다.
그림 4.1-4. 프로파일 행 서랍
| 링크 | 이동하는 곳 |
|---|---|
| {이름} 프로파일 설정(모델 바꾸기) | 그 프로파일의 서랍 |
| {이름} 의 예약 작업 | 예약 작업 화면 |
| {이름} 대화 열기 | 채팅 |
기본 모델
AAS 기본 모델은 사용자 Hermes 가 따로 지정이 없을 때 쓰는 모델입니다. 모델 목록에서 「기본 모델」 표시가 붙은 모델입니다. 프로파일의 주 모델을 「AAS 기본 모델」로 두면, 기본 모델이 바뀔 때 그 프로파일도 따라갑니다. 이름으로 모델을 직접 고른 프로파일은 그 모델에 고정됩니다.
모델 목록에서 보조 작업 전용 별칭(예: cogentai-aas-aux)과 임베딩·음성·이미지 모델은 대화용 선택 목록에서 빠집니다.
목록이 비어 있거나 오류가 나올 때
| 증상 | 원인 | 조치 |
|---|---|---|
| 「모델 서버 주소가 설정되지 않았습니다…」 | 서버에 모델 서버 주소 설정이 없습니다. | 운영자에게 알립니다. |
| 「LiteLLM 목록을 받지 못했습니다」 또는 연결 오류 | LiteLLM 이 닫혀 있거나 키가 맞지 않습니다. | 운영자에게 알립니다. 아래 목록은 프로파일 설정만으로 만든 것이라 「LiteLLM 에 없음」 검사를 하지 못했습니다. |
| 모델 목록이 비어 있음 | cogentai-aas 로 시작하는 모델이 LiteLLM 에 없습니다. | 운영자에게 LiteLLM 의 모델 등록을 확인하도록 요청합니다. |
LiteLLM 서버 설정과 모델 등록은 이 매뉴얼의 범위가 아닙니다. 운영자에게 요청할 때는 위 표의 화면 문구를 그대로 전달합니다.