현재 작업 위치가 다음과 같죠.
(venv) PS C:\Dev\book_agentic_ai\adk_>그리고 그 아래에 두 개의 Agent 폴더가 있습니다.
adk_/
│
├── agent/
│ └── agent.py # 기존 Agent
│
├── weather_eval_agent/
│ ├── __init__.py
│ └── weather_agent.py # 이번 평가용 Agent
│
└── evals/
└── seoul_daejeon_weather.test.json기존 agent가 아니라 weather_eval_agent를 실행 대상으로 지정하면 됩니다.
1. 추천하는 실행 방법: weather_eval_agent만 연결
현재 PowerShell 위치에서 다음 명령을 실행하세요.
adk web .\weather_eval_agent --port 8080이 명령의 의미는 다음과 같습니다.
| 부분 | 의미 |
| adk web | ADK 웹 UI 실행 |
| .\weather_eval_agent | 웹 UI에서 사용할 Agent 폴더 지정 |
| --port 8080 | 웹 서버 포트를 8080으로 지정 |
ADK CLI는 adk web 뒤에 Agent들이 들어 있는 상위 폴더뿐 아니라, 단일 Agent 폴더의 경로도 직접 지정할 수 있습니다. 따라서 이번에는 이 방법이 가장 간단합니다.
실행하면 브라우저에서 다음 주소로 접속하세요.
ADK Web UI 접속 주소
http://localhost:8080
이렇게 실행하면 이번 평가용 weather_eval_agent가 대상이 됩니다.
2. 기존 Agent와 평가용 Agent를 구분하는 방법
참고로 두 가지 실행 방식이 있습니다.
방법 A. 평가용 Agent만 실행 — 추천
adk web .\weather_eval_agent --port 8080이 경우 평가용 Agent 폴더를 직접 지정합니다.
방법 B. 두 Agent를 모두 불러오기
adk web . --port 8080이 경우 현재 폴더 아래의 Agent들을 검색합니다.
adk_/
│
├── agent/
│ └── agent.py
│
└── weather_eval_agent/
├── __init__.py
└── weather_agent.py웹 UI에 두 Agent가 모두 표시되면 왼쪽 위 Agent 선택 메뉴에서 weather_eval_agent를 선택해야 합니다.
따라서 이번에는 방법 A를 추천합니다. 실수로 기존 GCS Artifact Agent를 선택할 가능성이 줄어들기 때문입니다.
3. 중요한 점: 기존 JSON 파일을 웹 UI에서 평가하려면?
여기서 한 가지 더 확인할 사항이 있습니다.
현재 파일 이름은 다음과 같습니다.
evals/
└── seoul_daejeon_weather.test.json이 파일은 CLI 명령인 adk eval에서 직접 지정하여 실행할 수 있습니다.
그런데 ADK Web UI의 Eval 탭은 기존 평가 세트를 찾아서 관리하는 기능을 사용합니다. 일반적으로 UI에서 기존 Eval Set을 찾으려면 Agent 폴더에 .evalset.json 형식의 파일을 두는 것이 좋습니다.
PowerShell에서 다음 명령을 실행하세요.
Copy-Item `
.\evals\seoul_daejeon_weather.test.json `
.\weather_eval_agent\seoul_daejeon_weather.evalset.json그러면 다음과 같이 됩니다.
adk_/
│
├── agent/
│ └── agent.py
│
├── weather_eval_agent/
│ ├── __init__.py
│ ├── weather_agent.py
│ └── seoul_daejeon_weather.evalset.json
│
└── evals/
└── seoul_daejeon_weather.test.json이렇게 하면 기존 CLI 평가 파일은 그대로 유지하면서 웹 UI에서 사용할 평가 세트 파일을 별도로 관리할 수 있습니다.
참고: ADK 버전과 Eval Set 저장소 설정에 따라 기존 파일의 자동 검색 위치가 달라질 수 있습니다. 위 복사본이 Eval 탭에 표시되지 않는다면 UI에서 새 Eval Set을 생성하거나 저장 위치를 확인해야 합니다.
4. ADK Web UI에서 평가 실행하기
웹 UI에 접속한 다음 다음 순서로 진행하세요.
① Agent 확인
왼쪽 위 Agent 선택 메뉴에서 weather_eval_agent가 선택되어 있는지 확인합니다.
② 질문 입력
다음 질문을 입력합니다.
서울과 대전 중 내일 어디가 더 따뜻해?
답변과 Tool 호출이 정상적인지 확인합니다.
④ Run Evaluation
평가할 케이스를 선택하고 Run Evaluation을 클릭합니다.
Tool trajectory와 Response match의 통과 기준을 설정하고 Start를 누릅니다.
Pass/Fail 결과를 확인하고 실패 항목을 클릭하면 기대 결과와 실제 결과를 비교할 수 있습니다.
화면 구성은 ADK 버전에 따라 다를 수 있습니다. 위 이미지는 각 기능을 이해하기 위한 참고 이미지입니다.
How to Evaluate Live & Voice Agents in ADK - Google Developers Blog
5. 이번에 추천하는 실제 실행 순서
아래 순서대로 진행하면 됩니다.
# 1. 현재 위치 확인
cd C:\Dev\book_agentic_ai\adk_
# 2. 웹 UI용 Eval Set 복사
Copy-Item `
.\evals\seoul_daejeon_weather.test.json `
.\weather_eval_agent\seoul_daejeon_weather.evalset.json
# 3. 평가용 Agent만 웹 UI로 실행
adk web .\weather_eval_agent --port 8080그리고 브라우저에서:
http://localhost:8080로 접속합니다.
한 가지 구분해서 기억하세요.
| 실행 방법 | 용도 |
| adk run | 터미널에서 Agent 대화 테스트 |
| adk web | 웹 UI에서 Agent 대화 및 Trace 확인 |
| 웹 UI의 Eval 탭 | 대화 세션을 평가 세트로 만들고 평가 실행 |
| adk eval | 기존 JSON 평가 파일을 명령줄에서 직접 평가 |
이번 실습에서는 웹 UI에서 직접 대화도 해보고, Eval 탭에서 평가 결과와 Trace도 살펴보는 것이 좋겠습니다.
특히 Eval 탭에서 Tool 호출 과정과 실제 반환값을 확인하는 것이 앞으로 A2A와 멀티에이전트 평가를 공부할 때 큰 도움이 될 것입니다.
