AI 스킬·에이전트 바꾼 뒤 실제로 나아졌나…GitHub Copilot Evals 공개 미리보기
GitHub가 스킬·에이전트·MCP 도구의 행동을 반복 과제로 비교하는 Copilot Evals를 공개 미리보기로 제공한다. 사용자가 실행을 승인해야 하며, 해당 기능은 GitHub Copilot용으로 Codex Skill의 자동 검증 결과를 뜻하지 않는다.
GitHub는 2026년 11월 17일 GitHub Copilot Evals의 공개 미리보기를 발표했다. 공식 변경 기록에는 날짜만 표시돼 정확한 게시 시각과 시간대는 확인되지 않는다. Evals는 스킬, 사용자 정의 에이전트, MCP 도구를 바꾸기 전후에 같은 과제를 실행하고 결과와 수행 과정을 확인하는 기능이다. 한 번의 좋은 출력만으로 변경의 효과를 판단하기 어렵다는 문제를 다룬다.
사용자는 실제에 가까운 작업과 통과 기준을 정해 평가를 만들고, 실행 전 각 실행을 승인한다. 결과 화면에서는 어떤 확인 항목이 통과·실패했는지와 실패 과정을 볼 수 있다. GitHub는 로컬 평가 엔진 Vally를 사용한다고 밝혔다. 이는 평가 작업의 틀을 제공한다는 뜻이며 특정 스킬의 품질 향상을 자동으로 보증한다는 의미는 아니다.
공개 미리보기는 Copilot Individual·Business·Enterprise 플랜을 대상으로 한다. Visual Studio Code 확장, Copilot CLI 플러그인, GitHub Copilot 앱의 마켓플레이스 설치 경로가 각각 안내돼 있다. 이 기능은 GitHub Copilot 제품의 기능이다. AIPATH가 쓰는 프로젝트 로컬 Codex Skill에 동일한 결과를 바로 적용했다고 주장할 수 없으며, Codex의 실행 시험 기록으로 바꾸어 쓸 수도 없다.
독자에게는 AI 작업 흐름을 반복 가능한 과제와 기준으로 점검하는 방법이 중요하다. 도입 전에는 자신의 Copilot 플랜과 설치 경로, 평가 실행에 필요한 권한과 비용을 확인해야 한다. 실제 모델 호출 없이 평가 결과나 성능 향상을 추정해서는 안 된다.
공식 출처: https://github.blog/changelog/2026-11-17-github-copilot-evals-is-now-in-public-preview/
무엇이 바뀌었나요
GitHub가 Copilot의 스킬·에이전트·MCP 도구를 반복 과제로 비교하는 Evals를 공개 미리보기로 제공한다.
왜 중요한가요
도구 설정을 바꾼 뒤 결과와 실행 과정을 같은 기준으로 검토할 수 있다.
누구에게 해당하나요
GitHub Copilot에서 사용자 정의 스킬·에이전트·MCP를 운영하는 개발자와 팀.
이용 조건
Copilot Individual·Business·Enterprise 대상 공개 미리보기. VS Code·Copilot CLI·Copilot 앱별 설치 경로가 있다.
알아둘 한계
평가 실행은 사용자가 승인해야 한다. Copilot용 도구이며 Codex Skill의 실험 완료를 뜻하지 않는다.
지금 할 수 있는 일
작은 비민감 과제와 통과 기준을 먼저 정하고 자신의 Copilot 플랜·설치 경로를 확인한다.
