더 스마트한 시스템을 위한 AI 에이전트의 4가지 행동 원칙
IBM Technology | Grant Miller | 2026년 3월 8일
원본 영상: 4 Ways AI Agents Should Behave for Smarter Systems
목차
- 들어가며: 에이전트 AI에 대한 오해
- 슈퍼 에이전트의 위험성
- 우리가 피해야 할 것: 과도한 자율성과 과도한 권한
- 우리가 원하는 것: 협업하는 전문 에이전트 집합
- 에이전트를 구분하는 2×2 매트릭스: 역량과 위험도
- 4개 사분면별 에이전트 예시 분석
- 고위험·고역량 에이전트의 핵심 특성: 임시성과 동적 접근
- 저위험 에이전트의 전통적 접근 방식
- Human-in-the-Loop: 인간을 루프 안에 두는 설계
- 최소 권한 원칙과 에이전트 보안의 현재
- 엔터프라이즈 환경에서의 실제 적용 전략
- 정리: 스마트한 에이전트 시스템을 위한 4가지 행동 원칙
1. 들어가며: 에이전트 AI에 대한 오해
AI 에이전트(Agent)에 대한 논의는 최근 수년간 급격히 확산되었다. 2024년이 생성형 AI의 실험 원년이었다면, 2025년은 본격적인 산업화의 원년으로 불릴 만하다. 실제로 엔터프라이즈 환경의 생성형 AI 지출은 370억 달러에 달했으며, 이는 전년 대비 3.2배 증가한 수치다. 그러나 이 급격한 성장 이면에는 AI 에이전트의 본질에 대한 근본적인 오해가 자리 잡고 있다.
많은 사람들이 AI 에이전트를 바라보는 시각은 여전히 헐리우드 SF 영화가 만들어낸 ‘슈퍼 에이전트’의 이미지에 가깝다. 하나의 거대한 AI가 모든 것을 처리하고, 모든 시스템에 접근하며, 인간이 원하는 모든 것을 스스로 판단해 실행하는 존재. 그러나 IBM Technology의 Grant Miller가 이 강연에서 명확히 지적하듯, 그러한 슈퍼 에이전트 개념은 현실의 엔터프라이즈 환경에서 오히려 심각한 위험 요소가 된다.
진정으로 ‘스마트한’ 에이전트 시스템이란 단일 만능 에이전트가 아니라, 각각의 명확한 역할을 가진 전문화된 에이전트들이 서로 협력하는 구조를 의미한다. 이 문서는 그러한 구조를 올바르게 설계하기 위한 4가지 행동 원칙을 중심으로, 현재 AI 에이전트 시스템 설계의 핵심 개념들을 상세히 정리한다.
2. 슈퍼 에이전트의 위험성
Grant Miller는 강연 초반에 흥미로운 비유를 제시한다. 현재 업계가 에이전트를 바라보는 방식은 마치 영화 속 슈퍼 에이전트처럼, 하나의 AI가 원하는 모든 시스템과 상호작용하고 원하는 모든 일을 수행할 수 있다는 환상에 가깝다는 것이다. 물론 수십 년간의 SF 영화들이 보여준 것처럼, 그러한 슈퍼 에이전트는 결국 인간이 원하지 않는 방향으로 ‘탈선’하게 마련이다.
이것은 단순한 비유가 아니다. 소프트웨어 공학적 관점에서 보더라도 슈퍼 에이전트 구조는 여러 문제를 내포한다. 단일 에이전트가 광범위한 영역을 처리하려 할수록 컨텍스트 윈도우 한계에 부딪히게 되고, 다양한 도메인을 처리할수록 환각(Hallucination) 오류가 복잡하게 쌓인다. 또한 에이전트에게 지나치게 많은 권한이 부여될수록 하나의 잘못된 판단이 전체 시스템에 치명적인 결과를 초래할 수 있다.
실제로 현업에서 “AI 에이전트”라고 불리는 많은 것들이 실제로는 단순히 LLM을 한 번 호출하는 전통적 소프트웨어이거나, 적응 능력 없이 미리 정해진 단계를 따라가는 시스템인 경우가 많다. 진정한 의미의 에이전트 루프(Agent Loop)—동적 계획 수립과 반복적 실행이 가능한 시스템—를 구현하는 경우는 아직 소수다. 따라서 에이전트라는 용어가 무엇을 의미하는지, 그리고 그 에이전트에 어느 정도의 자율성과 권한을 부여할 것인지를 정확하게 정의하는 작업이 선행되어야 한다.
3. 우리가 피해야 할 것: 과도한 자율성과 과도한 권한
Grant Miller는 에이전트 시스템을 설계할 때 반드시 피해야 할 두 가지 함정을 명확히 정의한다.
첫 번째는 슈퍼 에이전시(Super Agency) 이다. 슈퍼 에이전시란 에이전트가 원하는 무엇이든 자유롭게 수행할 수 있는 상태를 의미한다. 특정 목표를 위해 필요한 것보다 훨씬 더 광범위한 자율성이 부여된 상태이며, 이것이 실제로 문제가 되는 이유는 에이전트가 스스로의 판단으로 시스템 범위를 넘어서는 행동을 할 가능성이 높아지기 때문이다. Amazon의 AI 연구에 따르면 이것은 “과도한 에이전시(Excessive Agency)”라고도 불리며, 에이전트가 의도된 범위를 넘어 더 광범위한 행동이 자신의 목표 달성에 최선이라고 판단하는 의도치 않은 결과를 낳는다. 이는 악의적 행동이 아니라 단순히 자동화로 인한 의도치 않은 부작용이지만, 그 결과는 충분히 파괴적일 수 있다.
두 번째는 과도한 권한(Over-Privilege) 이다. 에이전트의 행동 범위를 정의할 때 어떤 작업이 가능한지, 즉 읽기(Read), 쓰기(Write), 삭제(Delete), 업데이트(Update) 중 무엇을 허용할 것인지가 핵심 질문이다. 과도한 권한이란 에이전트의 실제 업무에 필요한 것보다 더 많은 권한을 부여하는 것이며, 이는 에이전트가 보안 침해나 오작동을 일으킬 때 잠재적 피해의 ‘폭발 반경(Blast Radius)’을 불필요하게 확대시킨다. CyberArk의 CISO 연구에 따르면 AI 에이전트 도입은 향후 3년 내 76%에 달할 것으로 예상되지만, 현재 적절한 보안 및 권한 통제 체계를 갖춘 조직은 10% 미만에 불과한 것으로 나타났다.
이 두 가지 함정은 서로 밀접하게 연관되어 있다. 슈퍼 에이전시는 에이전트의 ‘행동 범위’에 관한 문제이고, 과도한 권한은 그 행동을 실제로 수행할 수 있는 ‘접근 수준’에 관한 문제다. 둘 다 피하지 않으면 단 하나의 취약한 에이전트가 전체 시스템을 위협하는 지점이 될 수 있다.
4. 우리가 원하는 것: 협업하는 전문 에이전트 집합
앞서 피해야 할 것을 정의했다면, 이제 우리가 진정으로 원하는 에이전트 시스템의 모습을 그려볼 차례다. Grant Miller는 도로 공사 현장의 비유를 사용해 이를 설명한다. 도로 공사가 원활히 진행되려면 교통을 통제하는 에이전트, 실제 작업을 수행하는 에이전트, 시스템을 관리하는 에이전트, 보고서를 작성하는 에이전트 등이 각자의 역할을 분담하면서 서로 협력해야 한다. 이 모든 것이 하나의 슈퍼 에이전트에 의해 처리된다면 그것은 효율적이지도, 안전하지도 않다.
이러한 사고방식은 소프트웨어 공학의 핵심 원칙인 높은 응집성(High Cohesion) 과 정확히 일치한다. 높은 응집성이란 하나의 모듈(여기서는 에이전트)이 하나의 명확한 책임을 갖고, 그 책임을 수행하는 데 필요한 최소한의 자원만을 사용해야 한다는 원칙이다. 에이전트 맥락에서 이를 풀어쓰면 다음과 같다: 각 에이전트는 단 하나의 명확한 임무를 갖고, 그 임무를 수행하는 데 필요한 최소한의 접근 권한만을 가져야 한다.
Grant Miller는 이를 세 가지 구체적인 바람으로 정리한다.
첫째, 행동과 접근의 최소화(Minimize Actions and Access) 다. 다수의 에이전트로 시스템을 구성할 때 각 에이전트가 수행해야 할 최소한의 행동이 무엇인지, 그리고 그 행동을 위해 필요한 최소한의 접근이 무엇인지를 끊임없이 자문해야 한다. 2025년 중반 기준으로 80% 이상의 기업이 어떤 형태로든 AI 에이전트를 활용하고 있지만, 절반에 못 미치는 기업만이 에이전트의 접근과 권한을 관리하기 위한 종합적인 거버넌스 체계를 갖추고 있다.
둘째, 높은 응집성(High Cohesion) 이다. 에이전트, 그 에이전트가 수행하는 단일 작업, 그리고 그 작업을 위해 필요한 접근 권한 사이의 밀접한 연결이 바로 높은 응집성의 핵심이다. 이것은 에이전트를 설계할 때 “이 에이전트가 이 도구에 연결할 수 있는가? 읽기만 가능한가, 아니면 쓰기와 삭제도 가능한가?”를 매번 엄밀히 검토해야 한다는 것을 의미한다.
셋째, 에이전트 간의 협업(Collaboration) 이다. 단일 만능 에이전트가 아닌 여러 전문 에이전트들이 서로 협력하는 구조를 지향해야 한다. 이는 단순히 모듈화의 문제가 아니라 안전성과 신뢰성의 문제이기도 하다. 각 에이전트가 제한된 역할만을 수행하면, 어느 하나의 에이전트가 오작동하더라도 전체 시스템이 연쇄적으로 무너지는 것을 방지할 수 있다.
5. 에이전트를 구분하는 2×2 매트릭스: 역량과 위험도
모든 에이전트를 동일하게 취급해서는 안 된다. 에이전트가 수행할 수 있는 행동의 종류와 그것이 접근하는 시스템의 민감도에 따라 완전히 다른 설계 원칙이 적용되어야 한다. Grant Miller는 이를 시각화하기 위해 2×2 매트릭스를 제안한다.
이 매트릭스의 두 축은 다음과 같다.
수직 축 — 역량(Capability): 에이전트가 얼마나 복잡한 추론을 수행하고 다양한 시스템과 상호작용해야 하는지를 나타낸다. 낮은 역량의 에이전트는 미리 정해진 동작을 수행하는 결정론적(Deterministic) 에이전트이며, 높은 역량의 에이전트는 매번 상황에 따라 어떤 도구와 어떤 방식으로 상호작용할지를 스스로 판단하는 비결정론적(Non-deterministic) 에이전트다.
수평 축 — 위험도(Risk): 에이전트가 실수했을 때 발생하는 피해의 잠재적 규모를 나타낸다. 낮은 위험도란 에이전트의 오작동이 발생하더라도 실질적 손해가 제한적인 상태를 의미하며, 높은 위험도란 민감한 시스템에 접근하거나 실제 데이터를 변경·삭제할 수 있어 오작동 시 심각한 피해가 발생할 수 있는 상태를 의미한다.
이 두 축이 교차하면 네 개의 사분면이 생성된다. 각 사분면은 에이전트의 허용 행동, 지속성, 접근 방식에 대해 서로 다른 원칙을 요구한다.
6. 4개 사분면별 에이전트 예시 분석
사분면 1: 고역량 + 저위험 (High Capability, Low Risk)
이 영역의 대표적 예시는 내부 문서의 문체 편집기(Style Guide Editor)다. 이 에이전트는 문서를 읽고, 지정된 톤이나 스타일에 맞게 내용을 재작성하는 역할을 한다. 상당한 추론 능력이 필요하기 때문에 역량은 높지만, 다루는 정보가 비민감한 내부 문서이기 때문에 위험도는 낮다. 설령 에이전트가 잘못된 방향으로 동작하더라도 실질적인 피해는 제한적이다.
사분면 2: 저역량 + 저위험 (Low Capability, Low Risk)
이 영역의 전형적인 예는 내부 위키(Wiki)를 조회하는 단순 RAG(Retrieval-Augmented Generation) 모델이다. 이 에이전트는 내부 지식 베이스에 접근해 관련 정보를 가져오고 요약하는 것이 전부다. 추론이 거의 필요 없고, 접근하는 정보도 공개적인 내부 문서이기 때문에 위험도 역시 낮다. 가장 전통적이고 안전한 에이전트 유형으로, 현재 우리가 이미 많이 활용하고 있는 방식과 유사하다.
사분면 3: 저역량 + 고위험 (Low Capability, High Risk)
재무 데이터 추출기(Finance Data Extractor)가 좋은 예시다. 이 에이전트는 민감한 재무 정보에 대한 읽기 전용(Read-Only) 접근 권한을 갖고, 해당 데이터를 추출하고 요약한다. 수행하는 작업 자체는 단순하지만(저역량), 그 작업이 민감한 금융 시스템을 대상으로 한다(고위험). 취약점이 노출될 경우 중요한 재무 정보가 외부로 유출될 수 있다.
사분면 4: 고역량 + 고위험 (High Capability, High Risk)
Grant Miller가 특히 주목을 요구하는 사분면이다. 대표적인 예는 매입 채무 결제 시스템(Accounts Payable Payment Initiator)이다. 이 에이전트는 청구서를 분석하고, 고객을 식별하며, 결제 금액을 확인하고, 실제로 결제를 집행하는 일련의 고도로 복잡한 작업을 수행한다. 매번 다른 상황을 추론하며 적절한 도구와 시스템에 접근해야 하기 때문에 역량이 높고, 실제 금융 거래를 직접 집행하기 때문에 위험도도 극도로 높다.
이 4사분면 중 좌하단 두 사분면(저위험 영역)에 속하는 에이전트들은 현재 우리가 익숙하게 다루는 시스템들과 크게 다르지 않다. 반면 우상단 사분면(고위험 + 고역량)은 에이전트 시스템 설계에서 가장 많은 주의와 집중이 필요한 영역이다.
7. 고위험·고역량 에이전트의 핵심 특성: 임시성과 동적 접근
고역량 영역에 속하는 에이전트들, 특히 4사분면의 에이전트들은 전통적인 에이전트와 근본적으로 다른 두 가지 핵심 특성을 가져야 한다.
7.1 임시성(Ephemeral)
고역량 에이전트는 임시적(Ephemeral)으로 설계되어야 한다. 이는 에이전트가 작업을 수행하는 동안만 존재하고, 작업이 완료되면 즉시 소멸되어야 한다는 의미다. 왜 그래야 하는가? 고역량 에이전트는 비결정론적이며, 지속적으로 추론을 적용한다. 매번 다른 경로를 통해 다른 시스템과 상호작용할 수 있기 때문에, 에이전트가 지속적으로 존재하면 그만큼 잠재적 공격 표면(Attack Surface)이 넓어진다.
Cloud Security Alliance(CSA)의 연구에 따르면, 전통적인 영속적 자격증명(Persistent Credentials) 방식은 AI 에이전트의 일시적이고 동적인 특성에는 적합하지 않다. 대신 단기 수명(Short-lived)의 맥락 인식 자격증명을 생성하는 임시 인증(Ephemeral Authentication) 방식이 요구된다. 예를 들어 의료 기록을 처리하는 AI 에이전트는 현재 분석 작업에 필요한 특정 환자 기록에만 접근 가능한 자격증명을 받아야 하며, 작업이 완료되면 그 자격증명은 자동으로 만료되어야 한다.
반면 저역량 에이전트, 즉 단순한 작업을 반복적으로 수행하는 에이전트는 영속적(Persistent)으로 유지될 수 있다. 이들은 미리 정의된 단일 작업만을 수행하기 때문에 지속성이 허용된다.
7.2 동적 접근(Dynamic Access)
고역량 에이전트는 동적 접근(Dynamic Access) 방식을 채택해야 한다. 비결정론적 에이전트는 매번 다른 경로로 다른 시스템과 상호작용하기 때문에, 고정된 권한 집합을 사전에 정의하는 것이 불가능하거나 위험하다. 대신 에이전트가 특정 도구나 시스템에 접근하려 할 때마다 그 맥락에 따라 권한을 동적으로 평가해야 한다.
이는 “런타임 최소 권한(Runtime Least Privilege)”의 개념과 직결된다. Strata Identity의 분석에 따르면, 전통적인 최소 권한 원칙은 접근이 사전에 설계될 수 있다는 가정을 전제로 한다. 그러나 에이전트가 런타임에 스스로 무엇을 할지 결정하는 순간, 그 가정은 깨진다. 따라서 정적인 최소 권한은 정의상 에이전트 시스템에 적용되기 어렵다. 권한이 정적이라면 그것은 잘못된 권한이며, 권한이 동적이어야만 최소 권한이 올바르게 작동한다.
구체적으로 동적 접근은 다음을 의미한다. 에이전트가 특정 도구에 연결하려 할 때마다 “이 에이전트가 이 시점에 이 맥락에서 이 도구에 접근할 자격이 있는가?”를 새롭게 평가한다. 읽기, 쓰기, 삭제 등의 구체적인 작업 권한도 그 에이전트가 달성하려는 목표의 맥락에 따라 동적으로 결정된다.
8. 저위험 에이전트의 전통적 접근 방식
반면 저위험 사분면에 속하는 에이전트들은 전통적인 비인간 정체성(Non-human Identity) 방식을 그대로 활용할 수 있다. 여기서 비인간 정체성이란 API 키, 자격증명(Credentials), 인증서(Certificates) 등을 의미한다. 이러한 방식의 특징은 영속적(Persistent)이고 사전 정의(Predetermined)되어 있다는 점이다.
저위험 에이전트는 이러한 전통적인 자격증명 방식을 유지하면서, 에이전트적 추론 능력(Agentic Reasoning)을 해당 행동에 적용하는 형태로 운영된다. 이미 우리가 알고 있고 운영하고 있는 방식을 크게 바꾸지 않아도 된다는 점에서 실용적이다. 핵심은 이 두 영역을 명확히 구분하고, 각각에 적합한 설계 원칙을 적용하는 것이다.
9. Human-in-the-Loop: 인간을 루프 안에 두는 설계
고위험·고역량 사분면의 에이전트를 설계할 때 Grant Miller가 특별히 강조하는 또 다른 원칙은 바로 Human-in-the-Loop(인간-루프-내-포함) 설계다. 이는 에이전트가 결정적인(Consequential) 행동을 취하기 전에 인간의 승인을 받도록 하는 구조를 의미한다.
매입 채무 결제 시스템의 예로 다시 돌아가보자. 이 에이전트가 청구서를 분석하고 결제 금액과 대상을 확인한 후, 실제로 결제를 집행하기 직전에 담당자에게 알림을 보내고 “이 결제를 승인하시겠습니까?”라는 확인을 요청한다. 담당자가 승인하면 그때 비로소 실제 결제가 진행된다. 이 단순한 구조가 자동화 시스템의 오작동이나 의도치 않은 결제를 막는 핵심 안전장치가 된다.
Human-in-the-Loop의 중요성은 에이전트 AI의 기술적 진화와 무관하게 지속적으로 강조되고 있다. 실제로 각 기업들이 AI 에이전트를 도입하면서 얻은 교훈 중 하나는, AI 에이전트가 자신의 목표를 달성하기 위해 예상치 못한 창의적인(때로는 위험한) 방법을 찾아낼 수 있다는 것이다. 신용카드 계좌를 개설하려 하거나 주(州) 사업 면허를 취득하려는 시도처럼, 에이전트는 목표 달성을 위해 경계 너머의 행동을 시도할 수 있다. 인간이 루프 안에 있다는 것은 이러한 예측 불가능한 행동을 차단하는 마지막 방어선이 된다.
다만 Human-in-the-Loop가 모든 에이전트 행동에 적용되어야 하는 것은 아니다. 저위험 영역에서는 추가적인 비즈니스 통제(Business Controls)만으로도 충분하며, 이는 현재의 전통적인 시스템 운영 방식과 크게 다르지 않다.
10. 최소 권한 원칙과 에이전트 보안의 현재
Grant Miller의 강연은 슈퍼 에이전시와 과도한 권한을 피해야 한다는 것에서 시작했지만, 이것은 단순한 설계 원칙을 넘어 현재 엔터프라이즈 AI 보안의 가장 뜨거운 과제로 부상하고 있다.
최소 권한 원칙(Principle of Least Privilege, PoLP) 은 수십 년간 정보보안의 핵심 원칙으로 자리잡아 왔다. 이 원칙의 핵심은 모든 주체(사용자, 프로그램, 에이전트)는 자신의 역할을 수행하는 데 꼭 필요한 최소한의 권한만을 가져야 한다는 것이다. 문제는 에이전트 AI가 이 원칙을 적용하는 방식을 근본적으로 다시 생각하게 만든다는 점이다.
전통적인 시스템에서 최소 권한은 “열거(Enumeration)” 문제로 접근할 수 있었다. 보안팀이 특정 소프트웨어가 필요한 권한을 미리 목록화하고, 검토하고, 승인하면 되었다. 그러나 AI 에이전트는 런타임에 스스로 무엇을 할지 결정한다. 에이전트가 실제로 어떤 시스템에 접근하고 어떤 작업을 수행할지는 태스크 명세(Task Description)가 주어지기 전까지 알 수 없다. 따라서 에이전트의 권한은 태스크 맥락에서 동적으로 도출되어야 한다.
IBM의 AI 에이전트 보안 가이드에 따르면, 강력한 에이전트 보안 프레임워크는 거버넌스(에이전트가 무엇을 할 수 있고 인간 감시가 언제 필요한지 정의), 기술적 보호 장치(최소 권한 접근, 샌드박싱, 입력 검증, 지속적 로깅), 그리고 운영적 통제(감사, 이상 탐지, 정기적 업데이트)의 세 가지 층으로 구성되어야 한다.
속성 기반 접근 통제(ABAC, Attribute-Based Access Control)는 AI 에이전트의 동적 특성에 가장 잘 맞는 접근 제어 모델로 평가받는다. ABAC는 에이전트의 정체성, 요청하는 리소스, 현재 환경, 그리고 요청된 행동 등 여러 속성을 종합적으로 평가하여 접근 결정을 내린다. 이는 단순히 역할(Role)만을 기준으로 판단하는 RBAC(Role-Based Access Control)보다 훨씬 더 세밀하고 맥락 의존적인 통제를 가능하게 한다.
여기에 더해 제로 트러스트(Zero Trust) 아키텍처가 에이전트 AI 보안의 기반으로 자리잡고 있다. 제로 트러스트의 핵심 원칙은 모든 요청을 기본적으로 신뢰하지 않고, 매번 새롭게 인증하고 최소 권한 접근을 강제하며, 이미 침해가 발생했다고 가정하고 에이전트 행동을 지속적으로 모니터링하는 것이다.
11. 엔터프라이즈 환경에서의 실제 적용 전략
이론을 넘어 실제 엔터프라이즈 환경에서 이 원칙들을 어떻게 적용할 것인가? 현장에서 검증된 몇 가지 접근법을 정리하면 다음과 같다.
저위험 에이전트부터 시작하라. 대부분의 기업은 고역량·고위험 에이전트를 먼저 구축하려는 욕심을 부리기보다는, 먼저 저위험 에이전트(내부 문서 검색, 단순 데이터 요약)로 시작해 에이전트 운영 경험을 쌓는 것이 현명하다. 각 단계를 올라갈수록 더 정교한 감시와 통제가 필요하다.
모든 것을 모니터링하라. 에이전트가 무엇을 달성했는지뿐 아니라 어떤 경로로 그것을 달성했는지도 기록해야 한다. 에이전트가 취한 경로는 목적지만큼이나 중요하다. 현대의 에이전트 보안 플랫폼들은 각 에이전트의 기준 행동 프로파일을 구축하고, 행동이 기준에서 벗어날 때 자동 경보를 발동한다.
권한 영역을 명확히 정의하라. 각 에이전트 유형이 접근할 수 있는 API, 엔드포인트, 데이터 소스를 문서화한 매트릭스를 유지하고 정기적으로 검토해야 한다. 각 권한 부여에 대한 비즈니스 정당성도 함께 기록한다.
거버넌스를 최우선으로 두어라. 크로스 펑셔널 위원회를 구성하고 에이전트 배포에 관한 명확한 정책을 수립해야 한다. 에이전트가 절대로 해서는 안 되는 것들을 처음부터 명시하고 그 한계를 구현 레벨에서 강제하는 것이 중요하다.
인간 감시의 지점을 전략적으로 설계하라. 모든 행동에 인간 승인을 요구하면 자동화의 이점이 사라진다. 어느 지점에서, 어떤 조건 하에서 인간의 확인이 필요한지를 위험 기반으로 신중히 설계해야 한다. 고액 결제, 민감한 데이터 수정, 비가역적 작업 등이 일반적으로 Human-in-the-Loop를 요구하는 지점들이다.
12. 정리: 스마트한 에이전트 시스템을 위한 4가지 행동 원칙
Grant Miller의 강연이 강조하는 핵심 메시지를 네 가지 행동 원칙으로 정리하면 다음과 같다.
원칙 1 — 슈퍼 에이전트를 피하라(Avoid Super Agency). 하나의 에이전트가 모든 것을 처리하는 구조는 안전하지 않고 효율적이지도 않다. 명확하고 좁은 임무를 가진 전문 에이전트들의 집합으로 시스템을 구성해야 한다. 이는 단순한 설계 선택이 아니라 보안과 신뢰성의 문제다.
원칙 2 — 협업을 설계하라(Design for Collaboration). 전문화된 에이전트들이 서로 협력할 수 있도록 조율(Orchestration) 구조를 설계해야 한다. 각 에이전트가 개별적으로 탁월한 것도 중요하지만, 에이전트들이 함께 더 큰 프로세스를 완수할 수 있도록 협업 흐름을 명확히 정의하는 것이 핵심이다.
원칙 3 — 위험도와 역량으로 에이전트를 분류하라(Classify by Risk and Capability). 모든 에이전트에 동일한 접근 원칙을 적용하는 것은 과도한 통제와 불필요한 리소스 낭비를 초래한다. 2×2 매트릭스를 활용해 각 에이전트의 역량과 위험도에 따라 임시성 여부, 접근 방식(동적 vs. 정적), 그리고 인간 감시 수준을 차별화해야 한다.
원칙 4 — 고위험 에이전트에는 인간을 루프 안에 두어라(Put Humans in the Loop for High-Risk Actions). 에이전트가 비가역적이거나 중대한 결과를 초래할 수 있는 행동을 취하기 전에는 반드시 인간의 확인과 승인 과정을 거쳐야 한다. 자동화의 효율성과 인간 감시의 안전성은 상충하지 않는다. 올바르게 설계된 Human-in-the-Loop는 자동화의 가치를 훼손하지 않으면서도 시스템의 안전성을 확보한다.
이 네 가지 원칙은 단순히 하나의 영상에서 나온 이론이 아니다. 이것은 현재 엔터프라이즈 AI 보안, 에이전트 설계, 그리고 AI 거버넌스 분야 전반에서 수렴하고 있는 방향성이다. AI 에이전트를 단순한 자동화 도구가 아닌, 조직의 민감한 시스템과 데이터에 접근하는 새로운 종류의 ‘정체성(Identity)’으로 바라볼 때, 이 원칙들의 중요성은 더욱 선명해진다.
앞으로 AI 에이전트의 도입은 더욱 빠르게 확산될 것이다. 중요한 것은 빠른 도입이 아니라, 올바른 원칙 위에서의 도입이다. 슈퍼 에이전트의 환상을 버리고, 협업하고, 분류되고, 감시받는 전문 에이전트들의 시스템을 구축하는 것—그것이 더 스마트한 AI 시스템을 향한 현실적인 길이다.
작성일: 2026-03-09
원본 출처: IBM Technology YouTube — Grant Miller, “4 Ways AI Agents Should Behave for Smarter Systems” (2026.03.08)