Agents CLI에서 LangChain을 쓸 수 있어도 평가 명령 전체가 같은 방식으로 동작하는 것은 아닙니다. eval generate는 LangChain 그래프를 실행하도록 바뀌고, eval grade 같은 후속 처리는 기본 명령을 사용합니다. 반면 eval dataset과 eval optimize는 ADK에 의존해 LangChain 템플릿에서 명시적으로 거부됩니다. 기존 CI를 옮길 때는 ‘평가 지원’이라는 표현보다 각 단계의 입력·실행 주체·출력을 먼저 확인해야 합니다.
10월 21일 안내와 현재 문서의 버전을 구별한다
Google이 2026년 10월 21일 공개한 글은 Agents CLI의 확장 시스템을 LangChain과 조직별 배포 절차에 적용하는 사용 안내입니다. 글은 확장 시스템을 v1.5.0부터 제공한다고 설명하고, LangChain 예제에는 v1.8.0 템플릿을 지정합니다. 이 게시일을 v1.8.0의 출시일로 사용하거나 v1.8.0을 현재 최신 버전이라고 단정할 근거는 아닙니다.
10월 22일 확인한 현재 First-party frameworks 문서의 생성 예제는 v1.11.0을 가리킵니다. 아래에서는 발표 예제의 v1.8.0 매니페스트·처리 코드와 현재 문서에서 공통으로 확인되는 평가 역할을 대조했습니다. 자신의 CLI 버전과 템플릿 참조를 적고, 그 버전의 명령 도움말을 확인한 뒤 적용하세요. 발표는 v1.8.0 확장 시스템을 실험적 기능으로 표시하며, 현재 문서도 LangChain의 Cloud Run·GKE 배포를 실험적 범위로 안내합니다.
어떤 단계가 바뀌고 어떤 단계가 거부되나
| 작업 단계 | 명령 | 공식 자료에서 확인한 처리 | 기존 절차에서 확인할 점 |
|---|---|---|---|
| 에이전트 실행·로컬 화면 | run, playground | LangChain 그래프 실행과 LangGraph 개발 서버로 교체 | 같은 명령 이름을 기본 ADK 실행기로 간주하지 않기 |
| 평가용 응답·추적 자료 생성 | eval generate | LangChain 그래프를 실행해 표준 EvaluationDataset 형식의 결과 생성 | 입력 데이터 경로와 생성 결과의 형식을 대조 |
| 생성 결과 채점·비교·분석 | eval grade, eval compare, eval analyze | 기본 명령 유지 | 앞 단계 출력과 평가 설정이 연결되는지 확인 |
| 데이터 합성·최적화 | eval dataset synthesize, eval optimize | ADK를 필요로 해 미지원 이유와 함께 거부 | 이 단계가 있던 CI에는 별도 입력 준비·대체 절차 필요 |
| 배포 | deploy | LangChain 확장에서 교체하지 않는 기본 배포 경로 | 배포 대상의 지원 조건을 평가 명령 지원과 따로 대조 |
근거: 2026-10-21 Google 사용 안내, v1.8.0의 agents-cli-extension.yaml·unsupported.py, 현재 First-party frameworks 문서. 확인일: 2026-10-22. 명령 역할의 문서·소스 대조이며 실행 속도나 모델 품질의 비교 시험 결과가 아닙니다.
특히 ‘데이터 합성’과 ‘평가용 응답 생성’을 구별해야 합니다. 전자는 시험에 넣을 입력을 준비하는 단계이고, 후자는 준비한 입력으로 에이전트를 실행해 채점할 자료를 모으는 단계입니다. eval generate가 지원된다는 이유로 입력 자료를 합성하는 eval dataset synthesize까지 그대로 옮기면 중간 단계가 끊길 수 있습니다.
v1.8.0의 미지원 처리 코드는 eval dataset에 ADK 사용자 시뮬레이터가 필요하고, eval optimize는 adk 실행 파일을 호출하기 때문에 이 프로젝트에서 지원하지 않는다고 설명합니다. 코드에는 이유를 표준 오류로 출력하고 종료 코드 2를 반환하도록 작성돼 있습니다. 이 명시적 미지원을 모델이 문제를 틀린 평가 점수로 세거나, 같은 명령의 반복 실행으로 해결할 오류로 처리하지 않도록 CI 단계를 분리하세요.
기존 CI를 옮기기 전 확인할 순서
- 명령을 단계별로 적습니다. 기존 CI에서 입력 자료 준비, 에이전트 실행, 결과 채점, 배포를 구분합니다. 명령 이름뿐 아니라 읽는 파일과 다음 단계로 넘기는 결과를 함께 적습니다.
- 활성 확장과 실제 실행 주체를 확인합니다. 현재 Using Extensions 문서는
agents-cli info·agents-cli extension list와 명령별 도움말에서 출처·범위·실행 벡터를 확인하도록 안내합니다. 프로젝트 범위와 사용자 범위가 같은 명령을 정의하면 프로젝트 범위가 우선합니다. - 미지원 단계를 먼저 바꿉니다. 기존 절차가 ADK 데이터 합성에 의존했다면, 사용할 평가 입력과 판정 기준을 별도로 준비하는 담당·과정을 정합니다. 공식 예제가 가리키는 데이터 파일과 자신의 입력 형식도 대조합니다. 미지원 단계를 빼고 기존과 같은 평가를 했다고 표시해서는 안 됩니다.
- 작은 고정 입력으로 연결을 확인합니다. 같은 입력으로 응답 생성 결과가 만들어지는지, 그 결과를 채점 단계가 읽는지, 오류 종료와 품질 판정이 구별되는지를 확인한 뒤 범위를 넓힙니다. 이 순서는 AI 한편이 구성한 적용 절차이며 Google의 성능 보증이나 필수 시험 규격이 아닙니다.
설치된 프로젝트의 명령 출처를 살필 때 사용할 표시 명령은 다음과 같습니다. 출력에서 확장 이름·범위·실행 경로를 읽고 자신의 기록에 옮기세요.
agents-cli info agents-cli extension list agents-cli eval generate --help
팀에 남길 단계별 기록
아래는 단계 하나당 한 행을 작성할 빈 CSV입니다. 기본 명령·확장 명령·명시적 미지원 중 무엇인지 적고, 미지원이면 다음에 사용할 절차를 정합니다. 실제 출력이나 성공 결과를 채워 놓은 예시는 아닙니다.
단계,CLI버전,템플릿참조,명령,처리주체와범위,입력과출력,판정,대체절차 ,,,,,,,
현재 확장 사용 문서는 외부 확장의 참조를 정확한 커밋 SHA로 기록하고 agents-cli install은 그 고정점을 유지하며, extension update가 참조를 다시 해석해 고정점을 갱신한다고 설명합니다. CLI 버전·템플릿 참조·확장 SHA와 함께 모델·입력·평가 기준 버전을 기록하면 비교 조건을 추적할 수 있습니다.
아직 작은 입력과 판정 기준이 없다면 동일 입력·정답표로 비교하는 연습 자료의 합성 공지와 조건 추출 기준을 테스트 케이스 설계에 참고할 수 있습니다. 이 자료가 Agents CLI 데이터 파일 형식으로 바로 제공되는 것은 아니므로 자신의 평가 입력·판정 설정에 맞게 구성해야 합니다.
배포 대상과 비용은 별도 조건이다
현재 First-party frameworks 문서는 Cloud Run·GKE를 실험적 배포 대상으로 안내합니다. Agent Runtime에서는 ADK 앱을 기대하는 통합에 제약이 있어 등록이 거부되고 Console의 세션·추적 보기가 비어 있는 등 차이가 있다고 설명합니다. 특정 대상에서 컨테이너가 실행되는 것만으로 모든 관리 화면과 통합이 같은 범위라고 판단하지 마세요.
10월 21일의 Cloud Run 예제는 Python 3.11 이상·uv·Google Cloud SDK와 청구가 활성화된 Cloud 프로젝트를 전제로 합니다. 현재 문서는 실행·평가에 Gemini 호출용 자격증명도 필요하다고 안내합니다. 한국 리전별 대상 제공 여부·실제 호출 및 배포 비용·기존 프로젝트의 호환성·품질 변화는 이 글에서 확인하지 않았습니다. 먼저 자신의 단계별 지원 범위와 평가 입력을 정하고, 실제 사용할 대상의 조건을 대조하는 데 이 기록을 사용하세요.
원문 출처와 적용 범위
- Google Developers: 프레임워크별 Agents CLI 확장 사용 안내 — 2026-10-21, v1.8.0 예제와 평가 흐름·실험적 상태·Cloud Run 준비 조건.
- v1.8.0 LangChain 매니페스트와 미지원 처리 코드 — 명령 매핑·거부 이유·종료 코드의 정적 확인.
- 현재 First-party frameworks 문서 — v1.11.0 생성 예제, 평가 역할과 배포 대상 제약.
- 현재 Using Extensions 문서 — 명령 출처 확인·범위 우선순위·참조와 잠금파일 관리.
원문 확인일: 2026-10-22. 게시일·예제 태그·문서 확인일을 구별했습니다. 현재 문서의 모든 동작을 v1.8.0에 그대로 소급하지 않았습니다.