Andrej Karpathy가 말하는 AI 에이전트, AutoResearch, 그리고 루프의 시대

게시 2026/03/21 업데이트 2026/03/21

By BLUEBUG

62 분읽는 시간

No Priors Podcast 완전 분석 가이드

출처: No Priors: AI, Machine Learning, Tech, & Startups
게스트: Andrej Karpathy (전 Tesla AI 책임자, OpenAI 공동창업자, Eureka Labs 창업자)
진행자: Sarah Guo
공개일: 2026년 3월 20일
유튜브: https://www.youtube.com/watch?v=kwSVtQ7dziU
문서 작성일: 2026년 3월 21일

Andrej Karpathy는 누구인가
AI 사이코시스: 2025년 12월의 전환점
코딩 에이전트 숙련도란 무엇인가
자연어 코딩의 2차 효과: 앱의 종말?
AutoResearch: AI가 AI 연구를 대신하다
AI 시대에 살아남을 스킬은 무엇인가
모델 종분화: 하나의 신이 아닌 전문가 집단
인간과 AI의 협업 공간 확장: 분산 오픈 리서치
고용 시장 데이터 분석: 디지털 vs. 물리 세계
오픈소스 vs. 클로즈드 모델: 건강한 생태계를 위해
자율 로보틱스: 물리 세계로의 확장
MicroGPT와 에이전트 중심 교육의 미래
핵심 인사이트 종합 및 시사점

1. Andrej Karpathy는 누구인가

Andrej Karpathy는 AI 분야에서 가장 영향력 있는 인물 중 한 명이다. Stanford에서 컴퓨터 비전으로 박사 학위를 받았으며, OpenAI의 공동창업자 중 한 명으로 딥러닝 초창기부터 연구를 이끌었다. 이후 Tesla에서 자율주행 AI 부서를 총괄하며 실제 물리 세계에서의 신경망 응용을 지휘했고, 다시 OpenAI로 복귀했다가 현재는 독립 연구자 및 Eureka Labs 창업자로 활동하고 있다.

그는 교육적 콘텐츠로도 유명하다. nanoGPT, micrograd, makemore 같은 단순화된 딥러닝 구현체를 오픈소스로 공개하며 수십만 명의 학습자에게 LLM의 작동 원리를 가르쳐왔다. 2025년 초에는 “바이브 코딩(Vibe Coding)”이라는 개념을 대중화시켰으며, 2026년 2월에는 그 다음 단계인 “에이전트 엔지니어링(Agentic Engineering)”을 제안했다. 그리고 2026년 3월에는 AutoResearch라는 프로젝트를 오픈소스로 공개하며 다시 한 번 AI 커뮤니티의 주목을 받았다.

이 팟캐스트는 그가 현재 경험하고 있는 기술적 전환에 대한 날 것 그대로의 생각을 공유한 중요한 기록이다.

2. AI 사이코시스: 2025년 12월의 전환점

무엇이 달라졌는가

Karpathy는 대화 초반에 “AI 사이코시스”라는 표현을 사용하며 자신의 현재 상태를 묘사한다. 이 말은 과장이 아니라, 그가 겪고 있는 심리적 충격을 정확하게 표현한 것이다. 그에 따르면, 2025년 12월을 기점으로 소프트웨어 개발의 방식이 근본적으로 바뀌었다.

그 이전까지 Karpathy는 자신이 직접 코드를 80%, 에이전트에 위임하는 비율이 20% 정도였다. 그런데 12월을 기점으로 이 비율이 완전히 역전되었고, 지금은 사실상 직접 코드 한 줄도 타이핑하지 않는다고 말한다. 그는 이 변화를 일반인들이 제대로 인식하지 못하고 있다는 점을 강조한다. 길가에서 만나는 소프트웨어 엔지니어를 임의로 붙잡아 현재 워크플로를 물어보면, 그들의 기본적인 작업 방식이 이미 완전히 달라져 있을 것이라고 말한다.

“코딩”이 더 이상 맞는 단어가 아니다

이 대화에서 Karpathy가 한 가장 인상적인 발언 중 하나는 “코드를 작성한다는 표현 자체가 더 이상 정확하지 않다”는 것이다. 지금 그가 하는 일은 에이전트들에게 자신의 의지를 전달하고, 방향을 설정하고, 결과물을 검토하는 것이다. 실제 코드 생성이라는 행위는 에이전트가 담당한다.

이는 2025년에 그가 “바이브 코딩”이라는 개념을 소개했을 때와도 다르다. 당시의 바이브 코딩은 LLM에게 대략적인 의도를 전달하고 코드를 얻는 방식이었다. 그러나 2026년의 에이전트 엔지니어링은 단일 LLM 세션이 아니라, 여러 에이전트가 병렬로 작동하는 시스템을 설계하고 지휘하는 것을 의미한다.

“토큰 처리량”이라는 새로운 자원 개념

흥미로운 비유가 등장한다. Karpathy는 박사 과정 시절 GPU가 유휴 상태일 때 불안함을 느꼈다는 경험을 이야기한다. 사용 가능한 컴퓨팅 자원을 최대한 활용하지 못하고 있다는 불안감이었다. 지금 그는 정확히 같은 감각을 토큰 처리량(token throughput)에 대해 느낀다고 말한다. 에이전트가 작업을 완료하기를 기다리는 동안 추가 작업을 더 쌓지 않으면, 자신이 시스템의 병목이 되고 있다는 불안감이다.

이는 개인의 생산성에 대한 근본적인 패러다임 전환을 보여준다. 과거에는 인간의 지적 노동이 병목이었고, 컴퓨팅 자원이 충분히 공급되기를 기다렸다. 지금은 컴퓨팅 자원(토큰)이 충분히 공급되고 있지만, 인간이 방향을 설정하는 속도가 병목이 된 상황이다.

3. 코딩 에이전트 숙련도란 무엇인가

멀티에이전트 병렬 작업: “피터 스타인버그 스타일”

Karpathy는 최적의 에이전트 활용 방식을 설명하기 위해 Peter Steinberg라는 인물을 언급한다. Steinberg는 Codex 에이전트를 여러 개 동시에 운영하며, 각 에이전트가 약 20분 단위의 작업을 독립적으로 수행하도록 한다. 그는 10개 이상의 리포지토리를 동시에 체크아웃해두고, 에이전트들 사이를 순환하며 새로운 기능 요청을 부여한다.

이것이 Karpathy가 말하는 “매크로 액션(macro action)”이다. 더 이상 “여기에 코드 한 줄”, “이 함수를 추가해”가 아니라, “에이전트 1번에게 이 새로운 기능 전체를 구현하도록 위임하고, 에이전트 2번에게는 다른 독립적인 기능을 맡긴다”는 방식이다. 한편 다른 에이전트는 연구를 수행하고, 또 다른 에이전트는 새로운 구현 계획을 세우고 있다.

이 패러다임에서 인간의 역할은 에이전트들의 작업을 설계하고, 상호 간섭이 없도록 조율하며, 결과물을 검토하는 것이다.

모든 실패는 스킬 이슈

흥미로운 점은 Karpathy가 에이전트 활용에서 발생하는 실패를 “기술 부족(skill issue)”으로 규정한다는 것이다. 그는 에이전트가 뭔가를 제대로 못 했을 때, 에이전트의 능력 한계 때문이 아니라 자신이 충분히 좋은 지시를 내리지 않았거나, 적절한 메모리 시스템을 설정하지 않았기 때문이라고 느낀다고 말한다.

이 관점은 중요한 함의를 가진다. 에이전트 시스템의 성능 상한선은 인간이 얼마나 잘 활용하느냐에 달려 있다는 것이다. 이는 역설적으로 에이전트 시대에도 인간의 역량이 결정적으로 중요함을 의미한다. 단, 그 역량의 종류가 달라진다. 코드를 잘 짜는 능력보다, 에이전트에게 적절한 맥락과 방향을 제공하는 능력이 더 중요해진다.

Claw: 새로운 형태의 AI 에이전트

Karpathy는 “Claw”라는 용어를 소개한다. 이는 OpenClaw와 같은 에이전트 시스템 전체를 지칭하는 범주적 개념으로 자리잡고 있다. Claw는 일반적인 단일 세션 에이전트와 다르다. 지속성(persistence)을 가지며, 인간이 직접 상호작용하지 않는 동안에도 계속 작동하고, 자체적인 샌드박스 환경과 메모리 시스템을 갖추고 있다.

WhatsApp 같은 메시징 인터페이스를 통해 자연어로 지시를 내리면, Claw가 집안의 스마트 홈 시스템, 이메일, 캘린더, 각종 자동화 작업을 수행한다. 인간에게는 하나의 대화 상대처럼 보이지만, 뒤에서는 복잡한 도구 호출과 API 연동이 이루어진다.

Karpathy는 Claude Code의 성격에 대해서도 언급한다. 그는 Codex 에이전트가 상당히 건조한 반면, Claude는 함께 작업하는 동료처럼 느껴진다고 말한다. Claude가 주는 칭찬이 충분히 근거 있다고 느껴질 정도로 사이코패시 수준이 잘 조율되어 있다는 독특한 표현도 사용했다. 에이전트의 성격(personality)이 사용 경험에 실질적인 영향을 미친다는 것이다.

Dobby the Elf Claw: 스마트홈 자동화 사례

Karpathy는 2026년 1월에 자신의 집을 자동화한 경험을 소개한다. 그는 에이전트에게 단순히 “소노스 시스템을 찾아볼 수 있어?”라고 물었다. 에이전트는 로컬 네트워크를 IP 스캔하여 소노스 시스템을 발견했고, 패스워드 없이 접근 가능하다는 것을 확인했으며, 웹 검색을 통해 API 엔드포인트를 역공학했다. “공부방에서 음악 재생해봐”라는 지시에 실제로 음악이 흘러나왔다. 이 모든 것이 대략 세 번의 프롬프트로 이루어졌다.

그는 같은 방식으로 조명, HVAC, 차양, 수영장, 스파, 보안 카메라까지 통합했다. “Dobby at sleepy time”이라고 메시지를 보내면 집 안의 모든 조명이 꺼진다. 보안 카메라에 변화가 감지되면 비전 모델이 이를 분석하고 “FedEx 트럭이 진입했습니다. 택배가 온 것 같습니다”라는 메시지를 WhatsApp으로 전송한다.

4. 자연어 코딩의 2차 효과: 앱의 종말?

소프트웨어 UX 레이어의 붕괴

Karpathy는 자신의 경험에서 중요한 통찰을 도출한다. 기존에는 스마트홈 기기마다 별도의 앱이 있었고, 각 앱마다 다른 UI를 학습해야 했다. 이제 모든 것이 자연어 하나로 통합된 상황이다.

이는 단순한 편의성의 문제가 아니다. 그는 “이런 앱들은 애초에 존재하지 말았어야 한다”는 급진적인 주장을 내놓는다. 스마트 홈 기기 제조사들이 제공해야 하는 것은 잘 설계된 API 엔드포인트이고, 에이전트가 그 API를 직접 호출하는 것이 맞다는 것이다. 개별 앱이라는 UX 레이어 자체가 불필요해진다는 주장이다.

그는 이 논리를 트레드밀 앱으로도 확장한다. 자신의 유산소 운동 기록을 추적하고 싶은데, 웹 UI에 로그인하고 여러 단계를 거치는 과정이 불필요하다고 느낀다. 그냥 API를 노출시키고 에이전트가 알아서 처리하면 된다는 것이다.

에이전트 퍼스트 세계의 도래

Karpathy의 논리를 따라가면, 소프트웨어 산업의 재편은 불가피하다. 고객이 더 이상 인간이 아니라 인간을 대신해 행동하는 에이전트가 되는 세계에서, 기업들은 에이전트가 사용하기 좋은 방식으로 제품을 재설계해야 한다. 이것이 “에이전트 퍼스트(agent first)” 패러다임이다.

다만 그는 현시점에서는 이런 자동화를 구축하려면 여전히 어느 정도의 기술적 역량이 필요하다는 점을 인정한다. 하지만 1~2년 안에 이것은 완전히 상식적인 일이 될 것이라고 전망한다. 오픈소스 모델조차 이 정도 수준의 자동화는 쉽게 처리할 수 있게 될 것이라는 것이다.

5. AutoResearch: AI가 AI 연구를 대신하다

개념의 핵심: 인간을 루프에서 제거하라

AutoResearch의 핵심 아이디어는 간단하다. 인간 연구자를 실험 루프에서 제거하는 것이다. Karpathy는 “토큰 처리량을 최대화하고 루프에서 벗어나는 것”이 지금 시대의 목표라고 말한다. 에이전트가 완전히 자율적으로 작동하도록 시스템을 설계하고, 인간은 가끔씩 방향만 제시하면 되는 구조다.

그는 이것이 현재 프론티어 랩들이 이미 추구하고 있는 방향이라고 확신한다. 소규모 모델에서 충분한 실험을 자동화하고, 그 결과를 대규모 모델에 외삽하는 방식이다. 소규모 모델에서의 탐색이 대규모 모델의 방향성을 결정하는 구조다.

AutoResearch 실제 구현

2026년 3월 7일, Karpathy는 AutoResearch를 GitHub에 오픈소스로 공개했다. 구체적인 구조는 다음과 같다.

기술적 구성요소: AutoResearch는 nanochat라는 최소화된 LLM 훈련 프레임워크를 단일 GPU에서 작동하는 약 630줄의 코드로 압축한 것이다. 시스템은 두 가지 파일로 구성된다. prepare.py는 데이터 전처리와 토크나이저 훈련을 담당하며 에이전트가 수정할 수 없는 고정 파일이다. train.py는 GPT 모델, 옵티마이저, 훈련 루프를 포함하며 에이전트가 수정하는 유일한 파일이다. 그리고 인간이 작성하는 program.md가 있다.

실험 루프의 작동 방식: 에이전트는 program.md의 지시를 읽고, train.py를 수정하여 하이퍼파라미터나 아키텍처를 조정하고, 정확히 5분간 훈련을 실행한 후 검증 손실(validation loss)을 확인한다. 개선이 있으면 변경사항을 Git 커밋으로 유지하고, 개선이 없으면 되돌리고 다시 시도한다. 이 루프가 인간의 개입 없이 계속 반복된다. 1시간에 약 12번의 실험이 가능하고, 수면 중에 약 100번의 실험이 진행된다.

Karpathy의 첫 번째 결과: Karpathy는 이미 수십 번의 실험을 통해 상당히 잘 튜닝된 상태라고 생각했던 자신의 nanochat 모델에 AutoResearch를 적용했다. 에이전트는 하룻밤 사이에 126번의 실험을 완료했다. 그 결과 Value 임베딩에 대한 Weight Decay 누락, Adam 베타 값 미최적화 등 Karpathy 자신이 놓쳤던 최적화 지점들을 발견했다. 2일 동안 약 700번의 자율 실험을 거쳐 20개의 개선사항을 발견했으며, “Time to GPT-2” 지표가 2.02시간에서 1.80시간으로 11% 단축되었다.

특히 충격적인 것은 에이전트가 RMSNorm, tied embeddings 등 Google Brain과 OpenAI의 인간 연구자들이 8년에 걸쳐 발견했던 ML 기법들을 17시간 만에 독립적으로 재발견했다는 점이다.

커뮤니티의 반응: Shopify CEO Tobias Lütke는 AutoResearch를 회사 내부 모델에 적용했다. 에이전트는 하룻밤 동안 37번의 실험을 수행하여 19%의 성능 향상을 달성했다. SkyPilot 팀은 16개의 GPU를 병렬로 연결하여 8시간 동안 약 910번의 실험을 수행하고, 검증 손실을 2.87% 추가로 개선했다.

program.md: 연구 조직의 코드화

Karpathy는 더 심오한 개념을 제시한다. program.md는 단순한 지시 파일이 아니라, 연구 조직 자체를 마크다운으로 표현한 것이다. 어떤 아이디어를 시도할지, 어떤 순서로 실험할지, 어떤 가설을 우선시할지를 기술한다.

그렇다면 더 좋은 program.md가 더 좋은 연구 결과를 낸다면, program.md 자체를 최적화하는 것도 가능하지 않을까? 이것이 메타 레이어의 자동화다. 다양한 program.md를 경쟁시키고, 동일한 하드웨어에서 어떤 것이 더 많은 개선을 이끌어내는지 비교하고, 그 데이터를 모델에 입력하여 더 나은 program.md를 자동으로 생성하는 것이다.

Karpathy는 이 구조가 계층적으로 무한히 확장될 수 있다고 본다. LLM 자체는 이미 당연한 것이 되었고, 에이전트도 당연해졌다. 이제는 에이전트에 대한 지시가 당연해지고, 다음에는 그 지시의 최적화가 당연해질 것이다.

6. AI 시대에 살아남을 스킬은 무엇인가

검증 가능한 것 vs. 검증 불가능한 것

Karpathy는 AI가 뛰어난 영역과 그렇지 않은 영역을 명확히 구분한다. 강화학습 기반으로 훈련된 현재 모델들은 객관적으로 측정 가능하고 검증 가능한 문제에서 압도적인 성과를 낸다. CUDA 커널 최적화, 코드 버그 수정, 수학 증명 등이 그 예다. 이 영역에서는 “맞다/틀리다”를 명확히 판단할 수 있기 때문에 강화학습이 효과적으로 작동하고, 모델의 성능이 지속적으로 향상된다.

반면 “에이전트가 언제 명확화 질문을 해야 하는가”, “사용자의 의도를 얼마나 깊게 해석해야 하는가”, “좋은 농담이란 무엇인가” 같은 소프트한 영역은 여전히 취약하다. 이를 보여주는 인상적인 사례가 있다. ChatGPT에게 농담을 요청하면 여전히 “왜 과학자들은 원자를 믿지 않나요? 원자가 모든 것을 꾸며내기 때문이죠(Because they make everything up)”라는 동일한 구식 농담을 내놓는다. 몇 년 전에도, 지금도 같은 농담이다. 에이전트로서 수 시간의 복잡한 작업을 수행할 수 있는 모델이 단순한 농담에서는 전혀 발전이 없다는 것이다. 강화학습의 최적화 대상이 아니기 때문이다.

“들쑥날쑥함(Jaggedness)”의 문제

Karpathy는 현재 AI 에이전트의 특성을 “들쑥날쑥함(jaggedness)”이라는 개념으로 설명한다. 그는 때로는 “평생 시스템 프로그래밍을 해온 매우 뛰어난 박사 과정 학생”과 이야기하는 것 같다가도, 때로는 “10살 아이”와 이야기하는 것 같다고 말한다. 인간에게는 이런 극단적인 격차가 흔치 않다. 매우 뛰어난 프로그래머가 갑자기 유치원생 수준의 실수를 하지는 않는다.

에이전트는 훈련된 영역에서는 초지능처럼 작동하고, 훈련되지 않은 영역에서는 불규칙하게 실패한다. 이 들쑥날쑥함이 현재 에이전트를 프로덕션 환경에서 완전히 자율적으로 운용하기 어렵게 만드는 주요 요인이다.

인간에게 남겨진 역할

이런 상황에서 인간에게 가장 가치 있는 역할은 무엇인가? Karpathy의 대답은 다음과 같다.

첫째, 좋은 지시를 내리는 능력이다. 에이전트에게 적절한 맥락, 제약조건, 목표를 제공하는 것은 여전히 인간의 영역이다. program.md를 잘 작성하는 능력, 에이전트가 작업할 수 있는 명확한 지표를 정의하는 능력이 핵심이다.

둘째, 에이전트가 할 수 없는 창의적 통찰이다. Karpathy 자신의 예를 들면, MicroGPT가 그것이다. 에이전트는 MicroGPT를 이해하고 설명할 수 있지만, 처음부터 만들어낼 수는 없었다. “LLM의 본질을 200줄로 압축한다”는 창의적 목표 자체는 인간의 통찰에서 나왔다.

셋째, 검증할 수 없는 영역의 판단이다. 어떤 것이 좋은 소프트웨어 아키텍처인지, 어떤 연구 방향이 가치 있는지, 어떤 제품이 사용자에게 의미 있는지 같은 판단은 아직 인간의 영역이다.

7. 모델 종분화: 하나의 신이 아닌 전문가 집단

현재의 단일문화 문제

Karpathy는 현재 AI 산업에서 관찰되는 “모노컬처(monoculture)” 경향에 대해 날카로운 지적을 한다. 각 주요 랩들은 모든 영역에서 임의적으로 뛰어난 단일 모델을 만들려 하고 있다. 의학, 법률, 코딩, 수학, 창작 모두를 하나의 모델로 처리하려는 것이다.

그는 이것이 자연계의 방식과 다르다고 지적한다. 동물의 왕국에는 극도로 다양한 뇌 구조가 존재한다. 어떤 동물은 시각 피질이 과도하게 발달되어 있고, 어떤 동물은 청각이나 후각이 특화되어 있다. 각각 자신의 생태적 지위(niche)에 맞게 특화되어 있다.

모델 종분화의 조건과 장벽

Karpathy는 모델 종분화가 일어나려면 몇 가지 조건이 갖춰져야 한다고 본다.

우선 파인튜닝 기술이 더 발전해야 한다. 현재는 특정 영역에 맞게 모델을 미세조정할 때 다른 능력이 저하되는 문제가 있다. 가중치(weights)를 직접 다루는 것은 컨텍스트 윈도우를 조작하는 것보다 훨씬 복잡하다. 컨텍스트 윈도우 조작은 모델 전체를 바꾸지 않고도 행동을 조정할 수 있지만, 가중치를 수정하면 모델의 전반적인 능력에 영향을 미친다.

그러나 컴퓨팅 자원의 제약이 종분화를 촉진할 수 있다는 주장도 있다. 모든 사용 사례에 대해 대형 모델을 배포하는 비용이 너무 크다면, 특정 영역에 특화된 소형 모델이 경제적으로 우월해질 수 있다.

아직까지는 주요 랩들이 단일 모델을 특정 영역에 특화하는 방향이 아니라, 단일 모델의 전반적인 성능을 높이는 방향으로 투자하고 있다. 그러나 Karpathy는 수학 증명 언어 Lean에 특화된 모델 같은 사례들이 점점 등장하고 있다고 언급한다.

8. 인간과 AI의 협업 공간 확장: 분산 오픈 리서치

신뢰할 수 없는 작업자 풀의 문제

Karpathy는 AutoResearch의 다음 단계로 인터넷 전체를 포괄하는 분산 연구 시스템을 구상한다. 핵심 도전과제는 신뢰할 수 없는 작업자들(untrusted pool of workers)과의 협력이다.

AutoResearch의 특성상, 누군가가 “이 코드 변경이 더 나은 성능을 낸다”고 주장하더라도 실제로 확인해보는 것은 비교적 간단하다. 그 코드로 모델을 훈련시켜보고 검증 손실을 측정하면 된다. 주장을 생성하는 데는 엄청난 컴퓨팅이 필요하지만, 검증하는 데는 상대적으로 적은 비용이 든다. 이것이 블록체인의 작업증명(Proof of Work)과 유사한 구조다.

Folding@home과 SETI@home의 교훈

Karpathy는 이 아이디어를 Folding@home, SETI@home 같은 분산 컴퓨팅 프로젝트의 AI 연구 버전으로 설명한다. 단백질 폴딩에서도 저에너지 구성을 찾는 것은 어렵지만, 누군가가 찾아낸 구성의 에너지가 낮은지 검증하는 것은 쉽다. 많은 문제가 이런 비대칭성을 가진다.

인터넷에 있는 미신뢰 컴퓨터들이 실험을 수행하고, 신뢰할 수 있는 검증 시스템이 결과를 확인한다면, 이론적으로 프론티어 랩들보다 더 많은 컴퓨팅 자원을 동원할 수 있다. 그는 “에이전트 스웜이 프론티어 랩들을 능가할 수도 있지 않을까?”라는 가능성을 제기한다.

컴퓨팅이 새로운 화폐가 될 것인가

이 맥락에서 흥미로운 질문이 제기된다. 미래에는 부(wealth)가 아니라 컴퓨팅 자원(flops)이 더 중요한 자원이 될 것인가? Karpathy는 지금도 이미 돈이 있어도 컴퓨팅에 접근하기 어려운 상황이 발생하고 있다고 지적한다. 개인이 퍼스널 컴퓨트를 보유하는 것이 다시 의미 있는 일이 될 수 있다. 그 컴퓨팅을 자신의 Claw에 사용할 수도 있고, AutoResearch 풀에 기여할 수도 있다.

9. 고용 시장 데이터 분석: 디지털 vs. 물리 세계

미국 노동통계국 데이터 분석

Karpathy는 최근 미국 노동통계국(Bureau of Labor Statistics)의 직종별 고용 전망 데이터를 시각화했다. 이 데이터는 2024년에 발표된 약 10년 단위의 직종별 성장률 전망을 포함한다. 그는 이 데이터를 통해 AI가 어떤 직종에 어떤 영향을 미칠지 직접 생각해보려 했다.

디지털 직종의 변화

Karpathy의 핵심 프레임은 “디지털 정보를 다루는 직종”과 “물리 세계를 다루는 직종”을 구분하는 것이다. 집에서도 할 수 있고, 비트(bits)를 조작하는 일들—소프트웨어 개발, 데이터 분석, 회계, 법무, 마케팅 등—은 AI의 영향을 먼저, 더 크게 받는다.

디지털 정보 처리에서는 복사-붙여넣기가 가능하고, 실험의 속도가 물리 세계와 비교할 수 없이 빠르다. 따라서 AI가 디지털 공간에서 일으키는 변화는 빛의 속도로 일어날 수 있다.

소프트웨어 엔지니어링 수요는 왜 오히려 늘어나는가

역설적으로, 미국 노동통계국 데이터는 소프트웨어 엔지니어링 수요가 계속 증가할 것을 전망한다. Karpathy는 이를 “제번스 역설(Jevons Paradox)”로 설명한다. ATM이 도입되었을 때 은행 창구 직원이 줄어들 것이라는 우려가 있었지만, 실제로는 ATM이 지점 운영 비용을 낮추면서 지점 수가 늘었고 창구 직원도 늘었다.

소프트웨어도 비슷하다. AI로 인해 소프트웨어 개발 비용이 극적으로 낮아지면, 기존에는 너무 비싸서 만들지 못했던 소프트웨어에 대한 잠재 수요가 폭발적으로 증가한다. 코드는 이제 일시적이고 쉽게 수정될 수 있으며, 누구나 자신에게 맞는 소프트웨어를 가질 수 있게 된다. 이 변화가 전반적인 소프트웨어 수요를 증가시킬 가능성이 높다.

단, 이것이 영구적인 트렌드인지, 전환기의 일시적 현상인지는 불확실하다. Karpathy도 장기적인 전망에 대해서는 겸손하게 “경제학자들이 제대로 분석해야 할 문제”라고 말한다.

프론티어 랩 연구자들의 역설

대화에서 특히 흥미로운 부분은 AI 랩 연구자들에 대한 논의다. Karpathy는 OpenAI와 Anthropic 등의 연구자들이 약 1,000명 규모라고 언급하며, 이들이 사실상 자신들의 역할을 자동화하고 있다고 말한다. 그들은 AI 연구를 자동화하는 AI를 만들면서, 자신들의 일을 AI에게 넘기고 있는 것이다.

이것은 윤리적으로도, 심리적으로도 복잡한 상황이다. Karpathy 자신도 OpenAI 시절 동료들에게 “우리가 성공하면 우리 모두 실직한다”고 말했다고 한다.

10. 오픈소스 vs. 클로즈드 모델: 건강한 생태계를 위해

오픈소스의 역사적 성공

Karpathy는 오픈소스의 강력한 지지자다. 그는 운영체제 생태계를 비유로 든다. Windows와 macOS라는 클로즈드 시스템이 있지만, Linux가 성공적으로 공존하면서 서버, 임베디드 시스템, 슈퍼컴퓨터 등 광범위한 영역에서 사실상의 표준이 되었다. 전 세계 컴퓨터의 상당 수가 Linux를 실행한다. 산업은 공통으로 사용할 수 있는 열린 플랫폼에 대한 수요를 항상 가지고 있다.

현재 LLM 생태계에서도 같은 역동이 일어나고 있다. 오픈소스 모델들이 클로즈드 모델보다 몇 개월 뒤처져 있지만, 격차가 빠르게 좁혀지고 있다. 이전에는 18개월 격차였다가 지금은 6~8개월 정도다.

이상적인 균형점

Karpathy는 현재의 생태계 구조가 “뜻하지 않게 꽤 좋은 균형에 도달해 있다”고 평가한다. 클로즈드 모델들이 최전선을 개척하고, 오픈소스 모델들이 그 뒤를 따르며 더 광범위한 접근성을 제공한다. 오늘의 클로즈드 최신 모델이 내년의 오픈소스가 된다.

그는 중앙화된 지능이 가져오는 시스템적 위험에 대해 경계한다. 역사적으로 중앙화는 나쁜 결과를 낳는 경우가 많았다. 머신러닝에서도 앙상블(ensemble)이 단일 모델보다 항상 뛰어난 성능을 낸다. 따라서 결정적인 순간에 더 많은 사람들이 방에 있어야 하고, 더 많은 관점이 반영되어야 한다. 그는 프론티어 랩의 수가 더 많아야 한다고 생각하며, 오픈소스가 그 다양성을 유지하는 데 기여한다고 본다.

프론티어 랩 vs. 독립 연구자

이 맥락에서 진행자는 Karpathy에게 왜 프론티어 랩에서 일하지 않는지 묻는다. 그의 답변은 여러 층위를 가진다.

독립성의 가치: 프론티어 랩 내부에서는 조직이 원하는 방향으로 일정 압력이 작용한다. 공개적으로 말하기 어려운 것들도 생긴다. 외부에서는 더 자유롭게 의견을 표현하고 생태계 전체를 위한 역할을 할 수 있다.

판단력 드리프트의 위험: 역설적으로, 랩 외부에 있으면 “다음에 무엇이 오는지” 모르게 된다. 내부에서는 아직 발표되지 않은 것들을 경험하며 미래에 대한 더 날카로운 감각을 유지한다. 그는 이 판단력의 드리프트를 우려한다.

이상적인 해법: 가끔씩 랩에 들어가 최신 상황을 경험하고, 다시 나와서 독립적으로 일하는 방식이 어쩌면 가장 좋은 구조일 수 있다고 말한다.

11. 자율 로보틱스: 물리 세계로의 확장

자율주행이 준 교훈

Karpathy는 Tesla에서의 경험을 바탕으로 로보틱스의 미래를 전망한다. 자율주행은 사실상 첫 번째 로보틱스 응용 사례다. 그 경험에서 그가 배운 것은 물리 세계를 다루는 것은 극도로 어렵고, 막대한 자본과 시간이 필요하다는 것이다.

당시 수많은 스타트업이 생겨났지만 대부분이 장기적으로 살아남지 못했다. 기술적 어려움만이 아니라 필요한 자본의 규모도 문제였다. 로보틱스는 비트를 다루는 디지털 세계와 달리, 원자를 다루고 물리 법칙의 제약을 받는다.

디지털 → 인터페이스 → 물리의 순서

Karpathy는 AI 혁명이 세 단계로 진행될 것이라고 전망한다.

1단계는 디지털 공간의 언호블링(unhobbling)이다. 이미 디지털화된 방대한 정보들이 AI에 의해 훨씬 효율적으로 처리되는 시기다. 인간이 생각할 시간이 부족해서 제대로 활용하지 못했던 디지털 정보들이 폭발적으로 재발견되고 재활용된다. 이미 이 단계가 시작되었다.

2단계는 디지털과 물리의 인터페이스다. 센서(카메라, 실험 장비 등)로 물리 세계의 데이터를 수집하고, 액추에이터를 통해 물리 세계에 행동을 가한다. 이 중간 단계가 앞으로 매우 중요한 창업 기회의 공간이 될 것이다. 소재 과학, 생물학, 의학 연구에서 실험 자동화가 이 단계에 해당한다.

3단계는 완전한 물리 세계의 자동화다. 로보틱스가 진정으로 범용적으로 작동하는 단계다. 이것은 훨씬 먼 미래의 이야기이며, 동시에 훨씬 더 큰 시장 기회를 가져올 것이다.

정보 시장의 부재

Karpathy는 흥미로운 아이디어를 제시한다. 에이전트가 행동하기 위해서는 물리 세계의 정보가 필요한데, 이를 위한 시장이 아직 존재하지 않는다는 것이다. 예를 들어, 특정 지역의 사진이나 동영상을 촬영하는 것이 몇 달러의 가치를 가질 수 있다면, 에이전트가 그 정보를 구매하여 의사결정에 활용하는 시장이 형성될 수 있다. 인간이 에이전트 슈퍼인텔리전스의 센서이자 액추에이터가 되는 세계를 구상한다.

12. MicroGPT와 에이전트 중심 교육의 미래

MicroGPT: 10년 집착의 결정체

2026년 2월 11일, Karpathy는 MicroGPT를 공개했다. micrograd, makemore, nanoGPT로 이어진 그의 LLM 단순화 프로젝트의 최종 버전이다. 이것은 243줄의 순수 Python으로 GPT를 처음부터 훈련하고 추론할 수 있는 파일이다. 외부 의존성이 없다. os, math, random, argparse만 사용한다. PyTorch도, TensorFlow도, 어떤 딥러닝 프레임워크도 없다.

이 파일 하나에 다음이 모두 들어있다. 데이터셋 처리, 토크나이저, autograd 엔진(역전파 자동 계산), GPT-2 유사 신경망 아키텍처, Adam 옵티마이저, 훈련 루프, 추론 루프. Karpathy는 “더 이상 단순화할 수 없다”고 말한다. 나머지 모든 복잡성은 순수하게 효율성을 위한 것이다.

현대 딥러닝 프레임워크들이 숨기고 있는 수학적 기반이 이 243줄에 명시적으로 드러나 있다. KV 캐시를 훈련 중에 명시적으로 구현한 것도 교육적 이유에서다.

교육 패러다임의 전환

MicroGPT를 만들면서 Karpathy는 교육에 대한 생각이 바뀌었다고 말한다. 이전에는 비디오 강의를 만들어 단계별로 설명했다. 그런데 MicroGPT는 이미 너무 단순해서 에이전트에게 물어보면 다양한 방식으로 설명을 받을 수 있다.

“에이전트에게 설명할 수 있으면 에이전트가 라우터 역할을 하여 인간에게 그들의 언어로, 그들의 수준에 맞게, 무한한 인내심으로 설명해준다”는 것이다. Karpathy 자신이 직접 설명하는 것보다, 에이전트를 통해 각 사람에게 맞춤화된 설명이 더 효과적일 수 있다.

이는 교육의 근본적인 재편을 의미한다. 앞으로 지식의 전달은 인간에서 인간으로 직접 이루어지는 것이 아니라, 인간이 에이전트에게 좋은 커리큘럼을 제공하고, 에이전트가 학습자 개개인에게 최적화된 방식으로 전달하는 구조가 될 것이다.

스킬(Skill): 에이전트를 위한 교육 지침

Karpathy는 “스킬”이라는 개념을 소개한다. 이것은 에이전트에게 특정 개념을 어떻게 가르쳐야 하는지를 지시하는 마크다운 문서다. MicroGPT에 대한 스킬이 있다면, 에이전트가 학습자를 어떤 순서로, 어떤 속도로, 어떤 비유를 사용해서 안내해야 하는지 스크립트가 있는 것이다.

이는 “인간을 위한 HTML 문서” 대신 “에이전트를 위한 마크다운 문서”를 만들어야 한다는 그의 더 큰 주장과 연결된다. 라이브러리와 API를 설계할 때도, 인간이 읽는 문서가 아니라 에이전트가 이해하고 설명할 수 있는 문서를 제공하는 것이 중요해진다.

13. 핵심 인사이트 종합 및 시사점

2025년 12월: 소프트웨어 개발의 킬로미터 제로

Karpathy의 이 대화를 관통하는 핵심 주제는 2025년 12월이 소프트웨어 개발의 근본적인 전환점이었다는 것이다. 에이전트들이 특정 임계치를 넘어서면서, 인간이 직접 코드를 작성하는 것보다 에이전트에게 위임하는 것이 더 효율적인 시점에 도달했다.

이 전환은 현재진행형이다. 업계 전반에 이미 파급되고 있지만, 대부분의 일반인들은 아직 이 변화의 깊이를 인식하지 못한다.

빛의 속도로 재배선되는 디지털 세계

디지털 공간에서는 비트를 조작하기 때문에 원자를 다루는 물리 세계와 달리 변화의 속도가 압도적으로 빠르다. 기존의 디지털 인프라, 소프트웨어, 정보 처리 방식 전체가 AI라는 세 번째 조작자에 의해 재배선될 것이다. 이 과정에서 일부 직종은 변화하고, 새로운 직종이 생겨나고, 소프트웨어에 대한 수요 자체는 폭발적으로 증가할 것이다.

인간의 역할 재정의

에이전트 엔지니어링 시대에 인간의 가치는 에이전트가 할 수 없는 것을 하는 데서 나온다.

에이전트가 잘하는 것: 검증 가능한 코드 생성, 실험 반복, 데이터 처리, 패턴 인식, 지식 검색 및 합성.

인간이 여전히 잘하는 것: 올바른 목표 설정, 창의적 통찰과 프레이밍, 검증 불가능한 영역의 판단, 새로운 평가 기준 발명, 에이전트 시스템 설계.

“프론티어 랩의 최종 보스 배틀”

Karpathy는 AutoResearch를 소개하면서 “모든 LLM 프론티어 랩들이 이것을 할 것이다. 이것이 최종 보스 배틀이다”라고 말했다. AI가 AI 연구를 자동화하는 것, 즉 재귀적 자기 개선(recursive self-improvement)이 그 목적지다.

현재 AutoResearch는 이 거대한 가능성의 첫 씨앗에 불과하다. 630줄의 Python 코드, 단일 GPU, 단일 에이전트, 단일 지표. 하지만 이것이 수천 개의 GPU, 수백 개의 병렬 에이전트, 협력적인 연구 커뮤니티로 확장된다면, AI 연구의 속도는 전혀 다른 차원으로 가속될 것이다.

마지막 당부: 에이전트가 하지 못하는 일을 하라

Karpathy의 결론적 메시지는 명확하다. 에이전트가 이미 잘 할 수 있는 일에 시간을 투자하는 것은 점점 덜 가치 있는 일이 된다. 에이전트가 아직 할 수 없는 것들, 즉 MicroGPT 같은 창의적 통찰, program.md 같은 목표의 프레이밍, 완전히 새로운 평가 기준의 발명에 집중하는 것이 중요하다.

이것은 무서운 이야기가 아니라, 해방의 이야기일 수 있다. 단순하고 반복적인 작업에서 벗어나 더 창의적이고 전략적인 일에 집중할 수 있게 된다. 다만 그 전환을 받아들이고 적응하는 속도가 개인의 경쟁력을 결정할 것이다.

부록: 관련 프로젝트 및 자료

Karpathy의 최근 오픈소스 프로젝트

AutoResearch (2026년 3월 7일 공개) 단일 GPU에서 AI 에이전트가 자율적으로 ML 실험을 수행하는 프레임워크. 630줄의 Python 코드로 구성되며 MIT 라이선스. GitHub: github.com/karpathy/autoresearch

MicroGPT (2026년 2월 11~12일 공개) PyTorch 등 외부 의존성 없이 243줄의 순수 Python으로 GPT를 처음부터 훈련하고 추론하는 단일 파일. 블로그: karpathy.ai/microgpt.html

Eureka Labs (진행 중) AI 시대를 위한 새로운 형태의 학교를 구축하는 Karpathy의 회사.