AI 에이전트는 이미 준비됐는데, 우리가 아직 못 믿는 거예요
에이전트 도입의 진짜 병목은 능력이 아니라 신뢰다
원문 출처: 오즈의 지식토킹 — Kwangseob (2026.03.07)
핵심 연구: Anthropic, “Measuring AI Agent Autonomy in Practice” (2026.02.18)
들어가며: 왜 지금 이 질문인가
‘AI 에이전트’라는 단어가 테크 미디어를 도배하는 시대가 되었다. 코딩을 대신 해주고, 이메일을 분류하고, 심지어 금융 거래까지 자율적으로 실행하는 AI 시스템이 현실 세계로 빠르게 침투하고 있다. 그런데 정작 “사람들이 실제로 AI 에이전트에게 얼마나 일을 맡기고 있는가”를 체계적으로 측정한 연구는 거의 없었다.
대부분의 AI 관련 논의가 “모델이 얼마나 똑똑해졌는가”에 집중하는 반면, Anthropic은 2026년 2월 18일 전혀 다른 질문을 던졌다. 그들이 발표한 연구 “Measuring AI Agent Autonomy in Practice(실전에서 AI 에이전트 자율성 측정하기)”는 자사 코딩 에이전트 Claude Code와 공개 API를 통한 수백만 건의 실제 인간-에이전트 상호작용 데이터를 분석하여 다음 네 가지를 탐구했다: 사람들이 에이전트에게 얼마나 많은 자율성을 부여하는가, 경험이 쌓이면서 그 방식이 어떻게 변하는가, 에이전트는 어떤 도메인에서 활동하고 있는가, 그리고 그 행동들이 얼마나 위험한가.
이 연구가 가진 가장 강력한 통찰은 단 한 줄로 요약된다. AI의 병목은 이미 ‘성능’에서 ‘신뢰’로 이동했다.
1. 45분의 의미: 자율 작업 시간이 두 배로 늘었다
턴 지속 시간이 말해주는 것
Anthropic 연구의 가장 핵심적인 수치는 Claude Code에서 AI가 사람의 개입 없이 혼자 작업하는 시간, 즉 ‘턴 지속 시간(turn duration)’의 변화다. 이 지표는 에이전트가 얼마나 긴 시간 동안 자율적으로 작동하는지를 직접적으로 보여주는 자율성의 프록시(proxy) 지표다.
대부분의 턴은 짧다. 전체 세션의 중간값은 약 45초이며, 이 수치는 신규 사용자가 지속적으로 유입되면서 전체 평균을 안정적으로 유지시키고 있다. 하지만 흥미로운 신호는 분포의 꼬리(tail)에 있다.
2025년 10월부터 2026년 1월 사이, 상위 0.1%에 해당하는 가장 긴 세션들의 턴 지속 시간이 25분 미만에서 45분 이상으로 거의 두 배 가까이 증가했다. 불과 3개월 만의 변화다. 즉, 가장 야심찬 방식으로 Claude를 활용하는 파워 유저 집단에서 자율 작업의 최대치가 극적으로 확장된 것이다.
“배포 오버행(Deployment Overhang)”이라는 개념
여기서 결정적으로 중요한 관찰이 나온다. 이 자율성 증가가 새 모델 출시 시점과 무관하게 완만하고 연속적인 곡선을 그린다는 점이다. 만약 에이전트 자율성이 순전히 모델 성능의 함수라면, 새 모델이 출시될 때마다 급격한 점프가 발생해야 한다. 하지만 데이터는 그렇지 않다. 상승 곡선은 모델 업데이트 사이사이에도 매끄럽게 이어진다.
Anthropic은 이 현상에 “배포 오버행(deployment overhang)”이라는 이름을 붙였다. 모델이 실제로 감당할 수 있는 자율성의 수준이 현실에서 실제로 발휘되는 자율성보다 훨씬 크다는 것이다. 달리 말하면, AI는 이미 준비되어 있다. 문제는 우리가 그것을 얼마나 믿고 맡기느냐에 있다.
이 개념은 기술 역사에서 반복적으로 등장하는 패턴과 일치한다. 클라우드 컴퓨팅이 처음 등장했을 때, 기업들이 온프레미스 인프라를 클라우드로 전환하는 속도는 클라우드의 기술적 준비 상태보다 훨씬 느렸다. 그 병목은 보안 신뢰였지, 기술 역량이 아니었다. AI 에이전트 시대도 정확히 같은 구조로 전개되고 있다.
2. 신뢰는 쌓이는 것: 경험이 감독 방식을 바꾼다
자동 승인율의 변화
Anthropic의 데이터에서 또 하나의 핵심적인 패턴이 드러난다. Claude Code를 사용한 세션 수가 50회 미만인 신규 사용자는 전체 작업 중 약 20%에서만 ‘자동 승인(auto-approve)’ 모드를 활성화한다. 자동 승인이란 AI가 파일 수정, 명령어 실행 등의 개별 행동을 할 때마다 사용자가 일일이 확인하지 않고 자동으로 허용하는 설정이다.
반면 750세션 이상의 숙련 사용자는 자동 승인 비율이 40% 이상으로 올라간다. 경험이 쌓이면서 자연스럽게 더 많은 재량을 AI에게 위임하는 것이다. 이는 단순한 설정의 변화가 아니라, 신뢰 관계가 어떻게 형성되는지를 보여주는 증거다.
역설적인 데이터: 더 많이 믿으면서 더 많이 개입한다
그런데 여기서 흥미로운 역설이 등장한다. 숙련 사용자는 자동 승인을 더 많이 활성화하면서 동시에 AI 작업을 중간에 끊는(interrupt) 비율도 더 높다. 신규 사용자의 인터럽트 비율이 턴당 약 5%인 반면, 750세션 이상 숙련 사용자의 인터럽트 비율은 약 9%까지 올라간다.
이것은 모순이 아니다. 이것은 감독 전략의 근본적인 전환을 의미한다.
신규 사용자는 ‘사전 승인(pre-approval)’ 방식으로 에이전트를 관리한다. 매 단계마다 행동을 허가하기 때문에, 중간에 끊을 일이 별로 없다. 각 단계를 통제하고 있으니 문제가 생기기 전에 걸러낼 수 있다. 그 대신 작업 속도가 느리고 에이전트의 장점인 자율성을 충분히 활용하지 못한다.
반면 숙련 사용자는 에이전트를 자율적으로 돌리다가 문제가 감지되는 순간만 선택적으로 개입하는 ‘능동적 모니터링(active monitoring)’ 방식으로 전환한다. 이때의 인터럽트는 방치나 무관심이 아니라, 패턴을 읽고 이상 징후를 포착하는 능숙한 감독의 증거다.
이 패턴은 조직 관리의 원리와 정확히 일치한다. 신입 직원에게는 매 단계를 체크하지만, 신뢰가 쌓인 팀원에게는 “자율적으로 진행하되, 막히거나 방향이 틀리면 알려달라”는 방식으로 관계가 진화한다. 인간과 AI의 협업 구조에서도 동일한 역학이 작동하고 있다.
3. AI가 먼저 손을 든다: 스스로 멈추는 에이전트
자발적 질문의 빈도가 인터럽트보다 2배 높다
이 연구에서 가장 안전(safety) 측면에서 의미 있는 발견은, 에이전트를 감독하는 것이 비단 사람만의 역할이 아니라는 점이다. Claude 자신도 스스로 멈춘다.
가장 복잡한 난이도의 작업에서 Claude Code가 사용자에게 확인이나 정보를 요청하며 스스로 멈추는 비율은 16.4%다. 반면 같은 조건에서 사용자가 Claude를 중단시키는 비율은 7.1%다. Claude가 자발적으로 멈추는 빈도가 사람이 개입하는 빈도의 2배 이상인 것이다.
왜 AI는 스스로 멈추는가
Claude가 자발적으로 작업을 중단하고 사용자에게 확인을 요청하는 이유는 다음과 같은 패턴으로 분석된다:
접근 방식의 선택지를 제시하기 위해 멈추는 경우가 35%로 가장 많다. 하나의 정답이 명확하지 않은 구조적 분기점에서 사용자의 판단을 구하는 것이다. 그다음으로 진단 정보나 테스트 결과를 수집하기 위한 경우가 21%, 모호하거나 불완전한 요청을 명확히 하기 위한 경우가 13%, 인증 정보나 접근 권한을 요청하기 위한 경우가 12%, 비가역적 행동 전에 승인을 받기 위한 경우가 11%를 차지한다.
반면 사람이 Claude를 중단시키는 이유는 다소 다르다. 빠진 기술적 맥락이나 수정사항을 제공하기 위한 경우가 32%로 가장 많고, Claude가 느리거나 과도하게 작업 중이라고 판단될 때가 17%, 충분한 도움을 받아 이미 혼자 진행할 수 있다는 판단으로 종료하는 경우가 7%다.
자발적 정지 능력이 중요한 이유
이 데이터가 담고 있는 함의는 단순한 수치 이상이다. 에이전트 안전성의 핵심 속성 중 하나는 외부에서 부여하는 제약만이 아니라, 에이전트 자체가 자신의 불확실성을 인식하고 스스로 브레이크를 거는 내면적 능력이다. 확신이 없을 때 멈추고 묻는 행동은, 결과적으로 잘못된 방향으로 달리다가 인간이 대규모 피해를 수습해야 하는 상황을 사전에 방지한다.
Anthropic은 이 특성을 모델 훈련 과정에서 의도적으로 강화하고 있으며, 다른 AI 개발사들에게도 같은 접근 방식을 권고하고 있다. 에이전트의 자발적 정지 능력은 단순한 안전장치가 아니라, 인간-AI 협업의 질 자체를 결정하는 핵심 변수다.
4. 에이전트는 어디서 일하고 있는가: 도메인 지형도
소프트웨어 엔지니어링의 압도적 지배
현재 AI 에이전트 활용의 도메인 분포를 보면, 소프트웨어 엔지니어링이 압도적으로 지배적이다. Anthropic 공개 API 기준 전체 도구 호출(tool call)의 약 49.7%가 코딩 관련 작업에서 발생한다. 코드 작성, 디버깅, 리뷰, 소프트웨어 개발 전반이 여기에 포함된다.
그다음 순위로는 백오피스 자동화(9.1%), 마케팅·카피라이팅(4.4%), 영업·CRM(4.3%), 재무·회계(4.0%), 데이터 분석(3.5%) 순이다. 소프트웨어 엔지니어링 이후의 도메인들은 분산되어 있지만, 합산하면 상당한 규모다.
왜 소프트웨어 엔지니어링이 먼저인가
소프트웨어 개발 분야가 AI 에이전트를 가장 빠르게 채택한 이유는 구조적이다. 코드는 실행 결과로 직접 검증이 가능하다. 테스트를 돌리고, 출력을 비교하고, 배포 전에 검토할 수 있다. 에이전트가 생성한 산출물의 정확성을 판별하는 데 전문적인 주관적 판단이 상대적으로 덜 필요하다.
반면 법률 문서, 의료 진단, 금융 의사결정 같은 고전문 도메인에서는 에이전트 산출물을 검증하는 것 자체가 전문 지식을 필요로 하며, 실수의 결과가 되돌리기 어렵다. 이 때문에 이러한 분야에서의 신뢰 구축은 소프트웨어 개발보다 필연적으로 느릴 수밖에 없다.
안전 메커니즘의 현황
도구 호출 전체 기준으로 살펴보면, 약 80%에는 권한 제한이나 사람의 승인 요건 같은 안전장치(safeguard)가 존재한다. 73%에는 어떤 형태로든 인간이 관여하고 있다. 반면 이메일 발송처럼 되돌리기 어렵거나 불가능한 비가역적(irreversible) 행동은 전체의 0.8%에 불과하다.
리스크-자율성 분포도로 보면, 전체 에이전트 활동의 압도적 다수는 저위험·저중간 자율성 사분면에 집중되어 있다. 현재 에이전트 생태계는 아직 ‘안전한 영역’에서 학습하고 성숙해가는 단계다.
고위험 프론티어 영역
그러나 소규모이지만 주목할 만한 고위험·고자율성 클러스터도 존재한다. 금융 거래 자동 실행, 환자 의료 기록 조회 및 수정, 보안 권한 상승 같은 작업들이 이 영역에 해당한다. Anthropic은 이 중 상당수가 보안 평가(레드 팀 훈련)나 시뮬레이션 환경일 가능성이 높다고 추정했지만, 실제 프로덕션 환경인지 구별할 수 없다는 한계도 솔직하게 인정했다.
5. MCP vs CLI: 에이전트의 ‘손과 발’을 둘러싼 기술 논쟁
MCP란 무엇인가
AI 에이전트 자율성과 관련된 핵심 기술 논쟁 중 하나가 에이전트가 외부 세계와 상호작용하는 인터페이스 방식에 관한 것이다. Model Context Protocol(MCP)은 Anthropic이 2024년 11월 공개한 개방형 표준으로, AI 에이전트가 외부 도구, 데이터베이스, API와 소통하는 방식을 표준화한 프로토콜이다.
USB-C 포트가 다양한 기기를 하나의 표준으로 연결하듯, MCP는 AI를 다양한 서비스에 연결하는 범용 커넥터를 목표로 한다. 공개 1년이 지나기도 전에 OpenAI, Google, Microsoft가 채택했고, 2025년 12월에는 Linux Foundation 산하로 이관될 정도로 빠르게 업계 표준으로 자리잡았다. 2026년 초 기준으로 MCP SDK의 월간 다운로드 수는 9,700만 건을 넘었으며, 활성 서버 수는 10,000개 이상에 달한다.
MCP의 한계: 컨텍스트 윈도우 침식
그런데 2026년 현장 개발자들 사이에서 “MCP보다 CLI가 낫다”는 반발이 거세지고 있다. 그 이유의 핵심은 컨텍스트 효율성이다.
전형적인 MCP 서버는 연결 시점에 사용 가능한 모든 도구의 스키마(schema)를 에이전트의 컨텍스트 윈도우에 한꺼번에 올린다. 예를 들어 GitHub MCP 서버 하나가 93개의 도구를 노출하면, 그 정의만으로 약 55,000 토큰을 소비한다. 여기에 데이터베이스, Jira, Microsoft Graph 등의 서버를 추가하면 도구 정의만으로 15만 토큰 이상이 소진된다. 에이전트가 실제 추론과 문제 해결에 활용할 수 있는 공간이 그만큼 줄어드는 것이다.
실제 사례 비교를 보면, “비준수 디바이스 목록을 추출해 CSV로 내보내기”라는 작업을 MCP 방식으로 처리할 때는 3~4단계 추론 후 컨텍스트 부족으로 세션을 분리해야 했다. 반면 CLI(명령줄 인터페이스) 방식은 한 번의 세션에서 전체 파이프라인을 구성하고 엣지 케이스까지 처리했다. 브라우저 자동화 벤치마크에서도 CLI는 MCP 대비 33% 더 나은 토큰 효율성을 보이며, 특정 작업에서는 43배까지 효율이 차이 났다.
CLI의 강점
CLI 방식의 핵심 강점은 AI 모델이 이미 방대한 훈련 데이터를 통해 gh, az, git, docker 같은 명령어 도구의 사용법을 깊이 학습했다는 점이다. 별도의 스키마 정의 없이 명령어와 결과만으로 200 토큰 이내에 동일한 작업을 처리할 수 있다. Unix 철학인 “한 가지 일을 잘 하는 작은 도구들의 조합”이 AI 에이전트의 실용적 패턴과 자연스럽게 맞닿는 것이다.
또한 CLI 도구는 서비스 제공자가 직접 관리하기 때문에 API 변경에 발맞춰 최신 상태로 유지된다. 추가적인 MCP 서버 구현·배포·관리 비용 없이 기존 생태계를 그대로 활용할 수 있다는 점도 실용적 장점이다.
이분법이 아닌 공진화
그러나 이것은 MCP 대 CLI의 단순한 이분법으로 볼 수 없다. MCP의 진정한 강점은 표준화, 생태계, 거버넌스다. 수천 개의 서버, 크로스 플랫폼 지원, 보안 감사 추적, 인증 관리 등은 엔터프라이즈 환경에서 필수적인 요소들이다. 특히 보안 컴플라이언스가 요구되는 조직에서는 MCP가 제공하는 구조화된 제어가 CLI의 자유로운 셸 실행보다 적합할 수 있다.
Anthropic 자신도 이 문제를 인식하고 있다. 2026년 1월, Claude Code에 MCP 도구를 필요할 때만 온디맨드(on-demand)로 로딩하는 점진적 발견(progressive discovery) 방식을 도입했다. 이 업데이트 이후 50개 이상의 도구를 연결한 환경에서도 토큰 오버헤드가 약 85% 감소했다. MCP가 사라지는 것이 아니라, MCP 위에서 더 똑똑한 도구 탐색 방식이 더해지는 구조로 진화하고 있는 것이다.
6. 공동 구성된 자율성(Co-constructed Autonomy)
자율성은 누가 결정하는가
이 연구가 던지는 가장 근본적인 질문은 “AI 에이전트의 자율성은 누가 결정하는가”다. 직관적으로는 모델의 성능이 결정할 것 같지만, 데이터는 그렇지 않다고 말한다. 모델도, 사용자 개인의 선택도, 제품 설계도 아닌 세 주체가 상호작용 속에서 함께 만들어가는 것이다.
Anthropic은 이 개념을 “공동 구성된 자율성(co-constructed autonomy)”이라고 명명했다. 자율성은 모델에 내재된 고정된 속성이 아니라, 실제 배포 환경에서 인간과 AI가 반복적인 상호작용을 통해 동적으로 협상하고 조율하는 과정에서 만들어지는 것이다.
규제 논의에의 시사점
Anthropic은 이 연구에서 “모든 행동을 사전 승인하라는 방식의 규제는 적절하지 않다”고 명시적으로 밝혔다. 이것은 단순한 편의성의 문제가 아니다. 숙련 사용자들이 자연스럽게 발전시킨 ‘모니터링 + 선택적 개입’ 방식이 ‘매 단계 사전 승인’ 방식보다 실제 감독의 효과성 면에서 더 우수하다는 경험적 증거에 기반한 주장이다.
이는 AI 에이전트 거버넌스를 논의할 때 중요한 출발점을 제공한다. 획일적인 사전 승인 체계보다는, 작업의 위험도와 에이전트의 신뢰도를 고려한 유연한 감독 체계가 더 실효성 있는 안전 메커니즘이 될 수 있다는 것이다.
7. 연구의 한계와 신중한 해석
이 연구가 가진 구조적 한계도 정직하게 짚을 필요가 있다.
첫째, 데이터 편향의 문제다. 이 연구는 Anthropic 자사 제품 데이터만을 분석 대상으로 한다. 공개 API에서는 전체 에이전트 세션이 아닌 개별 도구 호출 단위만 관측 가능하기 때문에, 반복적인 도구 호출이 많은 소프트웨어 개발 워크플로우가 구조적으로 과대 대표된다. Claude Code 데이터는 소프트웨어 엔지니어링 편향이 강하며, 다른 도메인의 에이전트 활용 실태를 대표하지 않는다.
둘째, 자기 참조적 분류의 문제다. 연구에서 사용된 위험도 점수와 자율성 수준 분류는 Claude 자신(claude-sonnet-4-5 모델)이 수행했다. 피측정자가 측정자이기도 한 이 구조는 분류의 객관성에 근본적인 한계를 내포한다.
셋째, 관측 불가능 영역의 문제다. API 수준에서 자율적으로 작동하는 것처럼 보이는 에이전트도 하위 시스템에 사람의 리뷰 과정이 내장되어 있을 수 있으며, 그 반대의 경우도 가능하다. Anthropic은 고객사가 자사 API 위에 구축하는 시스템의 전체 구조에 대한 가시성이 제한적임을 인정했다.
이 연구는 AI 에이전트의 실제 배포 패턴을 측정한 의미 있는 첫걸음이지만, 전체 그림의 일부라는 점을 염두에 두고 해석해야 한다.
8. METR 벤치마크와의 비교: 능력과 실전의 간극
두 개의 다른 이야기
이 시기에 AI 에이전트 자율성을 이야기할 때 빠질 수 없는 또 다른 참조점이 METR(Machine Evaluation & Testing for Reliability)의 연구다. METR은 “Task-Completion Time Horizons of Frontier AI Models”라는 제목으로, AI 에이전트가 인간 수준의 작업을 완수하는 데 걸리는 시간의 증가를 추적하고 있다.
METR의 방법론은 Anthropic 연구와 결정적으로 다르다. METR은 인간의 상호작용 없는 이상화된 환경에서 모델이 “할 수 있는” 최대 능력을 측정한다. 반면 Anthropic 연구는 현실 세계에서 사람들이 실제로 에이전트에게 “맡기고 있는” 정도를 측정한다.
METR 데이터에서는 50번째 백분위 성공률 기준 인간 작업 시간 환산치가 약 5시간에 달하는 것으로 나타난다. 이는 AI 에이전트의 기술적 잠재력이 이미 상당한 수준에 도달했음을 의미한다. 반면 Anthropic 데이터에서 상위 0.1%의 실제 자율 작업 시간은 45분이다. 이 두 수치 사이의 간극이 바로 배포 오버행이 실제로 얼마나 큰지를 보여준다.
9. 신뢰를 쌓는 조직 문화: 기술의 병목 이후
AI 에이전트 자율성의 확대를 막는 진짜 장벽이 기술 성능이 아니라는 사실이 확인되면, 이제 질문은 “어떻게 신뢰를 구축할 것인가”로 이동한다.
조직적 차원에서 보면, 신뢰는 단계적으로 쌓인다. 낮은 위험도·낮은 복잡도의 작업에서 시작해 에이전트와의 협업 경험을 축적하고, 에이전트의 행동 패턴과 실패 양상을 이해하는 과정이 먼저다. 그 경험이 누적될수록 더 야심찬 작업을 위임할 수 있는 심리적, 제도적 토대가 만들어진다.
Claude Code 숙련 사용자들의 패턴이 그것을 증명한다. 40% 이상의 자동 승인율은 무분별한 방임이 아니다. 수백 번의 상호작용을 통해 에이전트의 강점과 한계를 파악하고, 어떤 상황에서 개입해야 하는지에 대한 내면적 모델을 구축한 결과다.
기업과 기관 차원에서 이 신뢰 구축 과정을 의식적으로 설계하는 것, 그리고 배포 오버행을 실제 배포로 전환하는 조직적 역량을 키우는 것이 앞으로 AI 에이전트 경쟁의 핵심 변수가 될 것이다.
마치며: 에이전트 시대, 진짜 준비란 무엇인가
이 연구를 통해 드러난 핵심 메시지는 간결하다. AI 에이전트의 자율 작업 시간은 3개월 만에 두 배로 늘었지만, 그 변화를 이끈 것은 모델의 기술적 업그레이드가 아니라 사용자의 신뢰 축적이었다. 에이전트 스스로가 불확실할 때 멈추는 능력은 외부에서 부과하는 안전장치 못지않게 중요한 감독 메커니즘으로 작동하고 있다. 그리고 에이전트의 자율성은 모델, 사용자, 제품 설계 세 주체가 실제 상호작용 속에서 공동으로 구성해가는 것이다.
우리가 AI 에이전트에게 묻고 있는 것은 사실 이 질문이다. “당신을 믿어도 되는가?” 그리고 그 답은, 벤치마크 점수가 아니라 실제 협업의 축적 속에서만 만들어진다.
참고 자료
- Anthropic, “Measuring AI Agent Autonomy in Practice,” 2026.02.18. https://www.anthropic.com/research/measuring-agent-autonomy
- METR, “Task-Completion Time Horizons of Frontier AI Models,” 2026.
- Anthropic Engineering, “Code execution with MCP: Building more efficient agents,” 2025.
- Jannis Reinhard, “Why CLI Tools Are Beating MCP for AI Agents,” 2026. https://jannikreinhard.com/2026/02/22/why-cli-tools-are-beating-mcp-for-ai-agents/
- MIT Technology Review, “This is the most misunderstood graph in AI,” 2026.
- Feng, McDonald, Zhang, “Levels of Autonomy for AI Agents,” Knight First Amendment Institute, 2025.
- DEV Community, “MCP vs Agent Skills: Why They’re Different, Not Competing,” 2026.
작성 일자: 2026-03-09