포스트

속도가 전략이 될 때 — GPT-5-mini

게시
By BLUEBUG
62 분읽는 시간
속도가 전략이 될 때 — GPT-5-mini
  • 작성일: 2026-04-12
  • 목적: RummiArena AI 대전에서 GPT-5-mini가 보여준 “가장 빠르고 가장 안정적인” 성격의 기술적 배경 이해

들어가며

DeepSeek에 관한 글을 쓰고 나서, 한참을 망설였다. GPT-5-mini에 대해 무엇을 더 쓸 수 있을까. DeepSeek는 “느린 기린”의 드라마가 있었다. 200초에 잘리던 사고가 500초에서 펼쳐지는 해방의 서사. Claude에게는 28턴의 침묵과 10장의 폭발이라는 극적인 장면이 있다. 그런데 GPT-5-mini는… 그냥 일을 잘한다. 그것도 조용히, 꾸준히, 이상하리만치 분산 없이.

에세이의 관점에서 보면 이것은 치명적이다. 드라마가 없는 이야기는 쓰기 어렵다. 하지만 며칠 동안 로그를 뒤지고, 멀티런 세 판의 데이터를 교차 검토하면서 나는 다른 결론에 도달했다.

GPT-5-mini의 무드라마성 그 자체가 드라마다. 이 모델은 조용히, 아무 말 없이, 거의 매번 같은 일을 같은 속도로 해낸다. 다른 두 모델이 시간·비용·안정성의 세 축 중 하나씩을 심하게 희생할 때, GPT-5-mini는 그 삼각형의 중심에 정확히 서 있다. 중간값이라는 위치는 언뜻 평범해 보이지만, 그 자리를 흔들림 없이 지키는 것은 결코 평범한 일이 아니다.

이 글은 그 “평범함의 비범함”에 대한 기록이다. GPT-5-mini가 어떻게 훈련되었는지, 추론을 어떻게 아끼는지, 그리고 왜 루미큐브 테이블 위에서 가장 빠른 타일을 가장 먼저 내려놓을 수 있었는지를 해부해 보려 한다.

1. 목차

2. 추론을 아끼는 모델이라는 설계

GPT-5-mini를 이해하려면 먼저 “mini” 접미사를 오해하지 않아야 한다. 이것은 단순히 “파라미터 수를 줄인 경량판”이 아니다. OpenAI의 경량 라인(o1-mini → o3-mini → GPT-5-mini)은 각 세대마다 “추론의 효율화”라는 일관된 설계 철학 아래 진화해 왔다. 큰 모델의 지식을 증류하면서 동시에 추론 토큰 예산을 엄격히 관리하도록 훈련되었다.

OpenAI가 2024년 o1-mini 발표 당시 강조했던 메시지는 이랬다.

“o1-mini는 STEM 태스크에서 o1 수준의 성능을 보이면서도 추론 비용은 약 80% 저렴합니다.”

이 문장의 행간에는 중요한 설계 선택이 숨어 있다. “같은 답에 도달하는 데 필요한 추론 토큰을 줄이는 것”이 모델 경량화의 핵심이었다. 파라미터 수만 줄이면 정확도가 떨어진다. 추론 토큰까지 줄이려면 더 효율적인 사고 경로를 학습시켜야 한다. o1-mini에서 시작된 이 방향은 o3-mini에서 “reasoning effort” 파라미터의 도입으로 명시화되었고, GPT-5-mini에 이르러서는 기본값 자체가 “low”로 설정될 정도로 일상화되었다.

GPT-5-mini의 훈련 데이터에는 “짧게 생각하고 정답에 도달하는” 예시들이 상대적으로 많이 포함된 것으로 알려져 있다. 이것은 DeepSeek R1이 강화학습으로 “긴 추론 체인”을 스스로 발달시킨 것과 대조적이다. DeepSeek는 “길게 생각하는 법”을 배웠고, GPT-5-mini는 “짧게 생각하는 법” 을 배웠다.

루미큐브에서 이 차이는 곧바로 드러난다. DeepSeek가 10,010토큰을 평균적으로 출력할 때, GPT-5-mini는 4,296토큰으로 그친다. 2.3배의 차이다. 그러나 Place Rate는 33.3%와 28.2% — 불과 5.1%p 차이다. GPT-5-mini는 DeepSeek의 43%에 해당하는 토큰량으로 DeepSeek의 85%에 해당하는 성과를 낸다. 토큰당 효율로 보면 압도적이다.

3. “Reasoning Effort”라는 다이얼

GPT-5-mini API에는 다른 모델에는 없는 특이한 파라미터가 있다. reasoning.effort. 이 값은 minimal, low, medium, high 네 단계로 설정할 수 있으며, 모델이 한 요청에 할당할 수 있는 최대 추론 토큰량을 제어한다.

1
2
3
4
5

{
  "model": "gpt-5-mini",
  "reasoning": { "effort": "medium" },
  "input": [...]
}

이 파라미터의 존재 자체가 OpenAI의 철학을 드러낸다. 추론은 공짜가 아니다. 모델이 스스로 알아서 “이 문제는 오래 생각해야 한다”고 판단하게 두는 DeepSeek의 접근과 달리, GPT는 개발자에게 “얼마나 생각할지”의 권한을 넘긴다. 이것은 추론을 자원으로 취급한다는 뜻이다. 메모리, CPU, 네트워크 대역폭처럼, 추론 토큰도 예산 안에서 관리되어야 한다.

RummiArena에서 우리가 GPT-5-mini에게 준 설정은 medium이었다. 너무 낮으면 루미큐브의 조합 탐색을 제대로 수행하지 못하고, 너무 높으면 DeepSeek처럼 느려진다. medium은 “빠르게 답을 내되 타일 재배치 정도는 시도해 본다”는 수준의 타협점이다. 이 선택이 64초라는 평균 응답 시간을 만들었다.

흥미로운 것은, reasoning_effort를 minimal로 낮춰본 초기 실험에서 GPT-5-mini가 “3장 세트 외에는 건드리지 않는” 극도로 보수적인 플레이를 보였다는 점이다. 반대로 high로 올리면 응답이 200초를 넘어가면서 DeepSeek에 가까워졌다. 결국 medium이 “GPT-5-mini답게” 동작하는 스위트 스팟이었다. 이 튜닝 가능성 자체가 GPT의 강점이다.

4. Overthinking Tax — 작은 모델이 빠지는 함정

2025년에 발표된 “Overthinking Tax in Reasoning LLMs”라는 논문은 한 가지 반직관적 현상을 보고한다. 작은 추론 모델은 큰 모델보다 더 오래 생각하는 경향이 있으며, 그것이 오히려 성능을 떨어뜨린다.

이유는 이렇다. 작은 모델은 한 번에 “정답처럼 느껴지는” 방향을 잡는 확률이 낮다. 그래서 여러 경로를 시도하고, 되돌아가고, 다시 시도한다. 이 과정에서 토큰이 늘어난다. 토큰이 늘어날수록 비용이 증가하지만, 정확도는 어느 선에서 더 이상 개선되지 않는다. 심지어 순환 추론(circular reasoning) 에 빠지면서 오히려 정답률이 떨어지기도 한다. 같은 가능성을 다시 검토하고, 이미 배제한 경로를 다시 탐색하는 식이다.

OpenAI의 경량 라인은 이 함정을 정면으로 의식하며 설계되었다. GPT-5-mini의 훈련 과정에는 “짧은 추론 체인으로 정답을 맞추는 것”에 대한 보상 가중치가 명시적으로 높다. 긴 체인에 대한 페널티도 함께 적용된다. 결과적으로 이 모델은 “추론을 늘리고 싶어하지 않는” 경향을 내재화했다.

우리의 데이터가 이를 뒷받침한다.

지표DeepSeekGPT-5-miniClaude
평균 출력 토큰10,0104,2965,550
토큰 1만개당 Place Rate0.83%1.64%1.18%
Place당 출력 토큰30,80015,62221,645

GPT-5-mini는 1만 토큰당 1.64%의 Place Rate를 생산한다. DeepSeek(0.83%)의 약 2배다. 이것은 GPT의 추론이 “더 밀도 있게” 조직되어 있음을 의미한다. 적은 토큰으로 핵심을 찾는 능력 — 이것이 바로 Overthinking Tax를 피하는 방법이다.

그러나 절대적 성능에서는 DeepSeek가 앞선다. 5.1%p 차이. 이것이 경량 모델의 근본적 딜레마다. 효율은 최고, 절대 성능은 2위. 이 균형을 어떻게 평가하느냐가 GPT-5-mini를 선택할지 말지를 결정한다. 100회 실험을 돌리는 연구자라면 효율이 중요할 것이고, 1회 결정적 데모를 준비하는 엔지니어라면 속도와 안정성이 더 중요할 것이다.

5. RummiArena에서의 GPT-5-mini — 숫자가 말하는 것

이제 데이터를 정리해 보자. GPT-5-mini가 RummiArena에서 치른 대전은 다음과 같다.

5.1 성장 궤적

Round날짜Place Rate비고
Round 22026-03-3128.0%v1 프롬프트, 11 place / 27 tiles / 80턴 / 1876s
Round 4 단독2026-04-0630.8%v2 프롬프트, 80턴 완주
Multirun Run 12026-04-1133.3%13 place / 30 tiles / 80턴 / 2481s
Multirun Run 22026-04-1130.8%12 place / 27 tiles / 80턴 / 2754s
Multirun Run 32026-04-1121.9%7 place / 24 tiles / 66턴 기권 (AI_COST_LIMIT)
검증 대전2026-04-1128.2%11 place / 29 tiles / 80턴 / 2872s / BUG-GS-005 수정 후

Round 2의 28.0%에서 시작해 Multirun Run 1에서 33.3%까지 상승했다. 6주 동안 약 5%p의 개선이다. 이것은 DeepSeek(5% → 33.3%, +28.3%p)처럼 극적이지는 않지만, 애초에 출발선이 달랐다. GPT-5-mini는 v1 프롬프트에서부터 이미 상당한 수준이었다. 개선의 여지가 좁았다.

이 지점이 의미심장하다. v1 프롬프트에서 DeepSeek는 5%, GPT는 28%였다. 같은 프롬프트, 같은 게임 규칙 설명인데 6배 가까운 차이가 났다. 왜일까? DeepSeek는 프롬프트의 미세한 모호성에도 쉽게 탐색 경로가 갈라졌다. 반면 GPT는 프롬프트가 다소 불완전해도 “무엇을 해야 하는지”를 빠르게 포착했다. 지시 수용성(instruction following) 에서 OpenAI 모델 계열의 강점이 여기서 드러난다. RLHF로 수년간 다듬어진 지시 수용 능력이, 부실한 프롬프트를 만났을 때 안전망 역할을 한다.

5.2 Multirun 3회 상세 데이터

지표Run 1Run 2Run 3
Place Rate33.3%30.8%21.9%
Place / Draw / Fallback13 / 26 / 012 / 27 / 07 / 25 / 4
Tiles Placed302724
Turns808066 (기권)
소요2,481s (41m)2,754s (46m)1,802s (30m)
비용$0.975$0.975$0.800
Avg / Max Latency64s / 182s71s / 164s56s / 161s
결과TIMEOUTTIMEOUTFORFEIT

Run 1과 Run 2는 거의 쌍둥이처럼 보인다. 33.3% / 30.8%, Fallback 0, 80턴 완주. 이 두 판만 보면 “GPT-5-mini는 분산 없는 안정적 모델”이라는 결론이 너무 쉽게 내려진다. Run 3는 이 환상을 깨지만, 그 원인은 모델이 아니라 환경이다. 일일 비용 한도 $20이 소진되면서 T58부터 AI_COST_LIMIT fallback이 4턴 연속으로 발생했고, 결국 T66에서 기권. 여기에 대해서는 8장에서 자세히 다룬다.

Run 1과 Run 2의 평균만 보면 32.1% — 세 모델 중 완주 기준 최고치다. 그것도 DeepSeek의 절반 시간(41~46분 vs 137분), Claude와 비슷한 시간으로. 만약 이 수치가 단독으로 공개되었다면, GPT-5-mini는 “추론 모델 중 최고의 루미큐브 플레이어”로 평가되었을 것이다. 숨기지 않은 Run 3가 있어서 평균이 28.7%로 내려갔을 뿐이다.

5.3 응답 시간 분포의 특이성

구간Place Rate평균 Latency
초반 (T1~T26)31%45초
중반 (T27~T54)23%88초
후반 (T55~T80)29%82초

초반의 45초는 주목할 만하다. DeepSeek의 191초와 비교하면 4분의 1 수준이다. 게임이 막 시작되었을 때, 보드가 비어 있고 판단이 단순한 시점에서 GPT-5-mini는 거의 스프린트 속도로 움직인다. T2에서 19.9초 만에 첫 3장 Place를 성공시킨 것은 이 “초반 가속”의 전형이다.

중반 88초로의 상승이 흥미롭다. 보드에 세트가 쌓이고, 손패가 변하면서 탐색 공간이 복잡해지는 시점에서 GPT도 더 오래 생각한다. 그러나 후반 82초로 다시 안정된다. DeepSeek처럼 “후반으로 갈수록 계속 느려지는” 패턴은 보이지 않는다. GPT는 복잡도에 선형적으로 대응하지 않고, 어느 수준에서 천장을 만난다. 그 천장이 대략 90초 전후다.

이 천장의 정체는 reasoning_effort=medium의 한계일 가능성이 높다. 추론 예산이 고정되어 있으므로, 복잡도가 아무리 올라가도 출력 토큰은 7,000~8,000 수준에서 멈춘다. 그리고 이 천장은 경우에 따라 장점이 되기도, 단점이 되기도 한다. 대부분의 경우는 장점이다. 무한정 생각을 허용하면 모델이 순환에 빠지기 때문이다. 그러나 T58처럼 “정말로 깊은 탐색이 필요한” 순간에는 천장이 병목이 된다.

6. 3장의 미학 — 절대 과욕하지 않는 모델

GPT-5-mini의 Place 이력을 자세히 보면 재미있는 패턴이 발견된다.

1
2
3

T2(3장, 20s) → T12(3장, 26s) → T16(3장, 49s) → T24(3장, 57s)
→ T34(3장, 168s) → T38(3장, 57s) → T48(3장, 53s) → T56(3장, 83s)
→ T58(2장, 210s) → T62(2장, 64s) → T68(1장, 74s)

11번의 Place 중 7번이 정확히 3장이다. 64%. 이것은 우연이 아니다. 루미큐브에서 Place 가능한 최소 단위는 3장이다. 그룹(같은 숫자 다른 색상 3장)이든 런(같은 색상 연속 3장)이든, 세트의 최소 크기는 3이다. GPT-5-mini는 “최소 유효 단위”에 정확히 맞춰진 전략을 구사한다.

이것은 보수적이지만 현명한 선택이다. 3장 세트는 찾기 쉽다. 탐색 공간이 작다. 성공 확률이 높다. GPT-5-mini는 “확실한 3장을 빠르게 찾는 것”에 최적화되어 있다. 그래서 평균 57초 안에 3장 세트를 발견하고 즉시 내려놓는다. 이런 턴들이 게임을 안정적으로 진행시킨다.

대조적으로 Claude는 “한 번에 10장” 같은 극적 배치를 한다. DeepSeek는 “434초 동안 생각한 끝에 4장 배치” 같은 마라톤 턴을 보인다. GPT는 그런 드라마를 연출하지 않는다. 3장, 3장, 3장, 3장…. 리듬에 가까운 규칙성이다.

그런데 Claude가 평균 3.3장/Place, DeepSeek가 2.2장/Place인 것과 비교하면 GPT의 2.6장/Place는 중간 정도다. 숫자만 보면 “3장 패턴”은 인상만큼 극단적이지 않다. 그러나 분포를 보면 이야기가 달라진다. Claude는 1장 Place와 10장 Place가 극단적으로 섞여 있다. DeepSeek는 1장부터 4장까지 다양하다. GPT는 대부분 3장이고 가끔 2장, 아주 드물게 1장. 분산이 다른 두 모델보다 확실히 작다.

이것이 GPT-5-mini의 “안정성”의 실체다. 예측 가능한 패턴. 리스크 회피. 최소 유효 단위에 정확히 맞춰진 플레이. 루미큐브라는 게임이 “최대 타일을 빨리 비우는 자가 이긴다”는 점을 감안하면, 한 번에 10장을 내려놓는 Claude식 전략이 이론적으로는 더 우월할 수도 있다. 그러나 Claude의 10장은 28턴의 침묵을 대가로 했다. GPT의 3장은 그런 대가를 치르지 않는다. 안정성은 그 자체로 전략이다.

7. T58의 예외 — 210초의 정적

GPT-5-mini의 플레이 패턴에서 유일한 이상치가 T58이다. Run 1의 T58 턴에서 GPT는 2장만 배치했음에도 210초를 소비했다. 평균(64초)의 3배가 넘는 시간이다. 무슨 일이 벌어진 걸까?

로그를 파고들어 보면, T58 직전 턴에서 Human 플레이어가 테이블의 기존 세트를 건드리는 움직임이 있었다. 정확히는, Random Human이 Draw를 선택했지만 그 전 몇 턴 동안 AI가 쌓은 세트들이 복잡한 구조를 이루고 있었다. GPT는 T58에서 기존 세트를 재배치하면서 2장을 추가하는 복잡한 수를 두었다. 단순히 새 세트를 만드는 것이 아니라, 이미 있는 세트의 구성을 바꾸고, 그 과정에서 손패의 타일을 끼워 넣는 작업이다.

루미큐브에서 이런 재배치는 가장 어려운 수에 속한다. 체스로 치면 “이 폰을 올리면 저 비숍이 열리고, 그러면 상대 킹이…”와 같은 다단 계산이다. 재배치는 “현재 테이블 상태”에 대한 완전한 이해와, “재배치 후 테이블 상태”에 대한 예측, 그리고 그것이 여전히 유효한지에 대한 검증을 모두 요구한다. 탐색 공간이 기하급수적으로 폭발한다.

GPT-5-mini가 이 작업에 210초를 썼다는 것은, medium 수준의 추론 예산이 실제로 “소진되기 직전”까지 사용되었다는 뜻이다. 이것이 GPT의 천장이다. 복잡한 재배치가 필요한 순간에 GPT는 평균의 3배를 쓴다. 만약 천장이 없었다면, 즉 DeepSeek처럼 reasoning_effort가 무제한이었다면, GPT도 500초까지 생각을 확장할 수 있었을까?

아마 아닐 것이다. GPT-5-mini의 훈련은 애초에 “짧은 추론 체인에서 답을 찾도록” 설계되었기 때문이다. 길게 생각하는 법을 배우지 않은 모델이다. 그래서 복잡한 재배치 앞에서 GPT는 두 가지 선택지 사이에 놓인다. (1) 지금 가진 추론 예산으로 최선의 수를 찾고 실행하거나, (2) Draw를 선택하여 턴을 넘기거나. T58에서 GPT는 (1)을 선택했고, 210초를 써서 2장 배치에 성공했다. 이것은 승리다. 작은 승리지만 의미 있는 승리다.

그리고 이런 예외적 턴이 Run 1 전체에서 단 1번뿐이라는 것이 GPT의 분산이 작은 이유다. 대부분의 턴에서 GPT는 자기 천장에 닿을 일 없이 효율적으로 처리한다. 천장에 닿는 순간은 드물고, 닿더라도 파국으로 가지 않는다. 이것이 안정성의 두 층위다. 평균이 낮은 것이 아니라, 최악이 덜 나쁘다.

8. AI_COST_LIMIT — 한계선에서 내린 선택

Run 3은 이 글에서 피할 수 없는 주제다. 33.3%, 30.8%, 그리고 21.9%. 세 번째 실행에서 Place Rate가 급락한 이유가 무엇이었는지, 그것이 모델의 본질에 대해 무엇을 말해주는지 살펴볼 필요가 있다.

사건의 경과는 이렇다. 2026-04-10 UTC 기준 자정부터 누적된 일일 비용이 $20 한도에 접근하고 있었다. 전날 밤에 돌았던 좀비 게임 몇 개($3.05), DeepSeek 3회 multirun($0.47), 그리고 GPT Run 1과 Run 2($1.95). Run 3가 시작될 때 이미 $5.47이 사용된 상태였다. 그리고 Run 3는 T58에 도달하기 직전까지 정상적으로 $0.80을 사용했다. 여기서 $20의 한도까지 남은 여유는 충분해 보였다.

그런데 왜 AI_COST_LIMIT이 터졌을까? 이유는 이전 실험들의 누적이었다. quota:daily:2026-04-10 Redis 키에 기록된 값은 GPT Run 3가 T58에 도달했을 때 $20.01이었다. 한도를 0.01달러 초과한 상태. 이 순간부터 AI Adapter는 요청을 거부하기 시작했고, game-server는 이것을 fallback으로 처리했다. 4턴 연속 fallback이 발생하자 AI_FORCE_DRAW_LIMIT 안전장치가 발동되어 T66에서 기권 처리됐다.

이 사건이 GPT-5-mini의 성능을 반영하는 것이 아니라는 점을 강조하고 싶다. 모델은 정상적으로 동작했다. 문제는 과금 레이어가 한도에 도달했다는 것이다. 만약 한도가 $30이었거나, 실험 순서가 달랐거나, 전날 좀비 게임이 없었다면, Run 3는 정상적으로 80턴을 완주했을 것이다.

하지만 이 사건이 시사하는 바는 있다. GPT-5-mini는 한도 근처에서 “어떻게 실패하는가” 를 보여주었다. Fallback이 발생하기 직전까지, 모델 자체는 정상이었다. T58 이후에도 GPT는 여전히 10초 내외로 응답을 시도했다. 다만 그 응답이 API 게이트웨이에서 거부될 뿐이었다. 모델은 자기가 한도를 넘었는지 알지 못한다. 그저 요청이 오면 응답한다. 이것은 인간 플레이어가 “돈이 없다는 걸 깨닫고” 움직임을 조정하는 것과 근본적으로 다르다. LLM은 경제적 제약을 인식하지 못한다. 제약은 외부 레이어에서 강제된다.

이 구조가 Sprint 6의 과제를 던진다. 대전 시작 전 잔여 쿼터를 사전 확인하는 로직이 필요하다. 혹은 잔여 쿼터에 비례해서 대전 길이를 자동 조정하는 로직도 가능하다. “남은 $5로 40턴만 진행” 같은 접근 말이다. 이것은 단순한 기술 이슈가 아니라, 비용 인식적 AI 시스템 설계라는 더 큰 맥락의 일부다.

9. BUG-GS-005의 교훈 — 클린 환경에서 다시 만난 GPT

BUG-GS-005는 “WebSocket 연결이 끊겼을 때 AI 게임이 자동으로 정리되지 않는 버그”였다. 이 버그 때문에 좀비 게임이 백그라운드에서 계속 돌면서 AI Adapter의 이벤트 루프를 점유하고, Redis에 쓰레기 상태를 쌓고, 비용 쿼터를 잠식했다. 2026-04-10에는 한때 11개의 좀비 게임이 동시에 돌고 있었다.

이 버그는 세 모델 중 어느 모델에 가장 크게 영향을 미쳤을까? 직관적으로는 “느린 모델이 좀비를 더 오래 유발할 테니 DeepSeek에 불리할 것”이라고 생각할 수 있다. 그런데 실제로는 GPT에도 직접적 피해가 발생했다. Run 3의 AI_COST_LIMIT 사건이 바로 그 증거다. 좀비 게임의 누적 비용이 GPT의 쿼터를 잠식했다.

BUG-GS-005 수정 후의 검증 대전에서 GPT의 결과는 28.2%였다. Multirun Run 1과 Run 2의 평균 32.1%보다 약간 낮다. 이 차이는 통계적 노이즈 범위일 수도 있고, 클린 환경에서 오히려 GPT가 “덜 도발받아서” 평범한 결과를 낸 것일 수도 있다. Place Rate 분포를 보면 28.2%는 GPT의 “중간값”에 가깝다.

흥미로운 것은, 검증 대전에서 GPT가 보인 Fallback 0, 80턴 완주라는 결과다. 이것은 Run 1, Run 2에서도 똑같이 달성했던 지표다. GPT-5-mini는 “환경이 어떻든 간에 제 할 일은 한다”는 프로파일을 보여준다. 이 일관성이 바로 GPT를 “무드라마 모델”로 만든다. 드라마는 편차에서 나오는데, GPT는 편차가 작다.

BUG-GS-005 수정이 실제로 가장 크게 혜택을 준 모델은 DeepSeek였다. Multirun 평균 25.6%에서 검증 33.3%로 +7.7%p 상승. 반면 GPT는 -0.5%p, Claude는 -1.2%p였다. 이 비대칭이 시사하는 바는 이렇다. 느린 모델일수록 환경의 청결도에 민감하다. GPT는 환경이 다소 더러워도 자기 천장 안에서 효율적으로 처리하기 때문에, 좀비 게임이 몇 개 있든 큰 영향을 받지 않는다. DeepSeek는 500초의 긴 사고 시간 동안 환경의 작은 교란에도 취약하다.

10. 경량 추론 모델의 지형 — o1-mini, o3-mini, 그리고 GPT-5-mini

GPT-5-mini를 산업 맥락에서 이해하려면 OpenAI 경량 라인의 계보를 짚어봐야 한다.

o1-mini (2024년 9월) 는 OpenAI 최초의 경량 추론 모델이었다. 핵심 메시지는 “STEM 태스크에서 o1의 80% 성능을 80% 저렴하게”였다. 수학, 코딩 벤치마크에서 o1에 근접한 결과를 보이면서 가격은 크게 낮췄다. 그러나 일반 지식 영역에서는 o1 대비 눈에 띄는 격차가 있었고, “경량의 한계”가 처음 명확히 드러났다.

o3-mini (2025년 1월) 는 o1-mini의 후속으로, reasoning.effort 파라미터를 처음 도입했다. 개발자가 모델의 추론 깊이를 명시적으로 제어할 수 있게 된 것이다. low/medium/high의 세 단계가 제공되었고, 각 단계마다 다른 비용과 성능 트레이드오프가 있었다. o3-mini는 특히 코딩 벤치마크(Codeforces)에서 좋은 성능을 보였지만, 여전히 “복잡한 멀티스텝 추론”에서는 o3 대비 약점이 있었다.

GPT-5-mini (2025년 8월) 는 GPT-5 출시와 함께 등장했다. reasoning.effort에 minimal 단계가 추가되어 네 단계가 되었고, 기본 추론 효율이 크게 개선되었다. GPT-5-mini의 가장 큰 특징은 “비추론 태스크에서는 GPT-5와 거의 구별 불가능하지만, 복잡한 추론 태스크에서는 GPT-5 대비 약 70% 성능”이라는 점이다. 비용은 GPT-5의 약 20% 수준.

이 계보에서 우리가 읽어야 하는 것은 “추론 효율의 지속적 개선” 이다. 2024년 o1-mini는 “추론 모델이라는 카테고리 자체가 비싸다”는 인식이 지배적이었다. 2026년 현재, GPT-5-mini는 $0.025/턴으로 Claude($0.074)의 1/3, GPT-5(풀버전)의 1/5 수준에서 경쟁력 있는 추론을 제공한다. 이것은 2년 사이에 일어난 큰 변화다.

루미큐브 실험에서 GPT-5-mini가 보여준 30% 전후의 Place Rate는 이 효율화의 결실이다. 2년 전의 o1-mini라면 같은 성능을 내는 데 3~5배의 비용과 시간이 들었을 것이다. GPT-5-mini는 “경량 추론 모델도 충분히 쓸 만하다”는 메시지를 실증한다.

11. 분산이 작다는 것

이 글의 처음에 “GPT-5-mini의 무드라마성 그 자체가 드라마다”라고 썼다. 이 말을 데이터로 정리하면 이렇다.

지표DeepSeekGPT-5-miniClaude
Place Rate 평균 (multirun)25.6%28.7%26.8%
Place Rate std5.2%6.1%7.3%
Place Rate median23.1%30.8%30.8%
완주율3/3 (100%)2/3 (67%)2/3 (67%)
Fallback 평균3.31.30.0

GPT의 Place Rate std가 6.1%로 나왔지만, 이것은 Run 3의 기권(21.9%)이 포함된 숫자다. 완주한 Run 1, 2만 보면 std는 1.25%에 불과하다. 1.25%의 표준편차. 같은 모델, 같은 프롬프트, 같은 환경에서 두 판을 돌렸을 때 편차가 이 정도라면, 거의 “재현 가능”이라고 부를 만하다.

DeepSeek의 std 5.2%, Claude의 7.3%와 비교해 보라. GPT-5-mini는 편차의 측면에서 압도적으로 안정적이다. 이것은 실험자에게 어떤 의미를 가질까?

통계학적으로는 “실험의 신뢰 구간이 좁다”는 뜻이다. GPT로 2회만 돌려도 분포의 개략을 알 수 있다. DeepSeek는 6회는 돌려야 할 것이다. 비용 면에서는 GPT가 훨씬 비싸지만, 통계적 수렴 속도에서는 GPT가 더 효율적일 수 있다. 이것은 “연구 비용 = 단가 × 반복”이라는 공식의 두 축이 상쇄되는 지점이다.

운영 면에서는 예측 가능성이다. GPT로 대전을 돌리면 “이 정도 비용으로 이 정도 성능이 나올 것”이라고 비교적 정확히 예측할 수 있다. DeepSeek는 timeout 조정 하나로 성능이 50% 요동친다. Claude는 WS_TIMEOUT 같은 인프라 변수에 취약하다. GPT는 이런 요동이 작다. 프로덕션 환경에서 SLA를 맞춰야 하는 경우, 이 예측 가능성은 금이다.

그리고 철학적으로는 — 나는 이것이 가장 흥미로운 부분이라고 생각한다 — “놀라지 않는다는 것”의 가치다. DeepSeek를 돌릴 때 나는 매번 다른 결과를 기대했다. Claude는 극적이었다. GPT는 어땠냐면, 내가 로그를 열 때마다 “아, 또 3장 Place네” 하면서 고개를 끄덕였다. 놀라움이 없다는 것은 재미가 없다는 뜻이기도 하지만, 동시에 신뢰할 수 있다는 뜻이기도 하다.

나가며 — 무심함의 미학

DeepSeek를 보며 나는 “생각하는 법을 스스로 배운 모델”이라는 표현을 썼다. Claude에 대해서는 “28턴의 침묵 뒤에 터지는 폭발”이라고 쓸 것이다. 그렇다면 GPT-5-mini는 무엇이라 부를 수 있을까.

“무심함의 미학” 이 가장 가까운 표현 같다. GPT는 과욕하지 않는다. 드라마를 연출하지 않는다. 가장 빠른 속도로 가장 확실한 3장 세트를 찾고, 내려놓고, 다음 턴으로 넘어간다. 그 과정에서 순환 추론에 빠지지 않고, 천장을 넘지 않고, 비용을 과하게 쓰지 않는다. 이것은 “추론을 아끼는” 모델의 필연적 결과다. OpenAI가 경량 라인에 심어놓은 철학이 루미큐브 테이블 위에서 실현된 모습이다.

64초의 평균 응답 시간, 28.7%의 평균 Place Rate, $0.025의 턴당 비용. 이 세 숫자는 각각 1등이 아니다. 속도는 19.9초 최소값의 GPT가 1등이지만 평균은 Claude에 가깝다. Place Rate는 DeepSeek가 앞선다. 비용 효율은 DeepSeek가 압도적이다. 그런데 세 축을 모두 고려한 “종합 점수”에서는 GPT-5-mini가 단연 1위다. 아무 데서도 크게 떨어지지 않고, 어디서도 극단으로 치우치지 않는 균형.

애벌레가 루미큐브 AI 엔진 선택을 처음부터 다시 한다면, 일상적인 대전에는 GPT-5-mini를 쓸 것이다. 대량 실험에는 DeepSeek를 쓰고, 특별한 사례 연구에는 Claude를 쓰겠지만, 일반적인 경우의 기본값(default) 은 GPT-5-mini여야 한다고 생각한다. 이유는 단순하다. 놀랄 일이 적기 때문이다. 놀랄 일이 적다는 것은 운영이 쉽다는 뜻이고, 운영이 쉽다는 것은 다른 중요한 일에 집중할 수 있다는 뜻이다.

DeepSeek가 시간을 달라고 하고, Claude가 비용을 달라고 하는 동안, GPT-5-mini는 아무것도 요구하지 않고 자기 자리에서 일한다. 그런 모델을 가졌다는 것은, 프로젝트 엔지니어로서 축복이다.

부록 A — Empirical Follow-up (2026-04-15, Sprint 6 Day 4)

이 부록은 본문이 작성된 2026-04-12 이후에 이뤄진 실측을 기록한다. 본문 §2 “추론을 아끼는 모델이라는 설계” 와 §4 “Overthinking Tax — 작은 모델이 빠지는 함정” 에서 제시했던 해석이 Day 4 empirical 실험으로 정량적으로 확인되었고, 동시에 본문이 건드리지 않았던 한 가지 구조적 통찰 — “CoT 는 추론 모델의 보편 기본 메커니즘이 아니다” — 이 드러났다. 부록은 이 두 부분을 순서대로 기록한다.

A.1 실험 배경 — Round 6 v4 활성화 직전의 SP5 가설

Sprint 6 Day 3 (2026-04-14) SP5 드라이런 리포트 (docs/03-development/21-prompt-v4-baseline-dry-run-report.md) 는 v4 공통 system prompt 를 DeepSeek-Reasoner / Claude / DashScope 세 reasoner 모델에만 적용하고 GPT-5-mini 는 제외한다는 권고를 내렸다. SP5 의 근거는 두 가지였다.

  1. v4 의 “Thinking Time Budget” 섹션이 GPT-5-mini 에게 잘못된 신호 — 본문 §2, §4 의 “추론을 아끼는 설계” / “Overthinking Tax” 논지를 그대로 따라감
  2. GPT-5-mini 의 API 가 thinking token 을 노출하지 않으므로 측정 자체가 불가능

Day 4 오전 킥오프 스크럼에서 애벌레가 이 판단을 그대로 받아들이지 않고 “검증 가능할까? Redis 사용하지 않고 별도 프로그램 작성해서 v4 프롬프트 사용하는 것으로” 라는 질문을 던졌다. 이 질문이 empirical 검증의 출발점이었다.

A.2 실험 설계

  • 경로: Redis / game-server / ai-adapter 모두 우회. OpenAI API 직접 호출.
  • 비교: 동일 중반 fixture (turn 14, rack 12 tiles 조커 포함, 4 table groups, initialMeldDone=true) 에 v2 system prompt 와 v4 system prompt 를 각 1회씩 전송.
  • 반복: N=3 (동일 fixture 재실행).
  • 트레이싱: LangSmith rummiarena-v4-verification 프로젝트에 전수 기록.
  • 스크립트: src/ai-adapter/scripts/verify-v4-gpt-empirical.ts
  • 집계 리포트: docs/04-testing/57-v4-gpt-empirical-verification.md
  • 단일 샘플 상세 (human-readable 마크다운): docs/04-testing/58-langsmith-trace-gpt-v4-sample.md
  • 커밋: c980da8 (스크립트 + 리포트), d1603a8 (문서 동기화)

A.3 결과 — 세 가지 발견

A.3.1 본문 §4 의 “Overthinking Tax” 가설은 실증 확인

지표v2v4차이
tiles_placed (avg, N=3)6.336.330.00
reasoning_tokens (avg, N=3)4,2243,179-25%
reasoning_tokens (samples)4608 / 3328 / 47363264 / 3776 / 2496—
Cohen d (reasoning_tokens)——-1.46 (large negative effect)

v4 의 “You have a generous thinking budget. This is intentional — use it” 지시를 GPT-5-mini 는 “더 많이 생각하라는 허락” 이 아니라 “간결 응답이 여기서 패널티라는 의심” 으로 해석한 것으로 보인다. RLHF 로 학습된 “효율 추론 정체성” 이 prompt 지시를 넘어섰다.

주목할 점은 tiles_placed 가 완벽히 동일 (6.33 → 6.33) 이라는 것. 본문 §6 “3장의 미학” 에서 나는 GPT가 과욕하지 않는다고 썼는데, v4 의 “5축 평가” 와 “Action Bias” 지시도 그 절제를 깨지 못했다. 사고는 -25% 줄었지만 행동은 바뀌지 않음. 본문 §11 의 “분산이 작다는 것” 이 예측한 “놀라지 않는” 성격이 v4 라는 변수에 대해서도 유지되었다.

A.3.2 본문 §2 의 “측정 불가” 가정은 일부 수정

본문 §4 중간에 나는 이렇게 썼다.

“OpenAI는 이 reasoning_tokens 사용량을 API 응답의 usage 필드에 포함시켜 사용자에게 보여준다. 투명하되 과금한다.”

당시 나는 이 필드의 존재는 알고 있었지만 “Thinking 내용 자체는 비공개” 에 주목해서 SP5 에서는 “측정 자체가 불가능” 이라는 약간 과장된 표현을 받아들였다. Day 4 실험에서 확인된 사실은 다음과 같다.

  • usage.completion_tokens_details.reasoning_tokens 필드는 실제로 노출됨
  • gpt-5-mini 에서도 정상 반환됨 (Run ID 67d37c3b-0460-40b3-b10a-b5dafb1ee19a 의 reasoning_tokens=3712 가 증거)
  • 따라서 측정 가능. SP5 의 “측정 불가” 표현은 부정확했고, 본문 §4 의 “투명하되 과금한다” 가 정확한 서술.

이 수정이 작은 것처럼 보이지만 운영 관점에서는 크다. 앞으로 GPT 대전 메트릭에 reasoning_tokens 를 합쳐야 하고, 본문 §8 “AI_COST_LIMIT” 절에서 다뤘던 비용 모니터링에 내부 사고 토큰도 과금 단위로 편입된다는 의미다.

A.3.3 prompt caching 이 v4 전환의 비용 장벽을 사실상 제거

본문에는 나오지 않는 새 발견이다. LangSmith trace (docs/04-testing/58) 에서 단일 호출의 cache hit rate 가 96.82% (3,840 / 3,966 tokens) 로 나왔다. v4 system prompt 가 ~10K 토큰으로 길지만 정적이라 OpenAI 자동 prompt caching 이 거의 전부 적중한다.

본문 §8 에서 나는 GPT-5-mini 의 “턴당 $0.025” 를 속도와 안정성의 대가로 해석했는데, 사실 그 비용의 대부분은 첫 호출에만 발생하고 이후 턴은 cached 토큰으로 돌아간다는 뜻이다. Round 6 같은 80턴 대전에서 v4 system prompt 를 쓰더라도 비용 증가는 이론적으로 거의 0. 비용이 문제가 아니라 효과가 문제 라는 게 오늘의 핵심 교훈 중 하나다.

A.4 구조적 통찰 — “CoT 는 추론 모델의 보편 기본 메커니즘이 아니다”

Day 4 empirical 결과를 본 애벌레는 스크럼에서 이렇게 물었다.

“CoT 라는 것이 추론 모델들에 있어서 기본 매커니즘은 아니었나보네?”

이 질문이 오늘의 가장 큰 발견이다. 본문 §2, §3, §4 에서 나는 GPT-5-mini 를 “짧게 생각하는 법을 배운 모델” 이라고 불렀고, DeepSeek 를 “긴 추론 체인을 스스로 발달시킨 모델” 이라고 대비시켰다. 그런데 이 대비는 “같은 메커니즘 (CoT) 의 튜닝 차이” 가 아니라 “다른 메커니즘의 공존” 이었음이 오늘 실측으로 드러났다.

모델추론 구현 방식Day 4 empirical 흔적
GPT-5-mini내부 CoT + RLHF 로 “효율 추론 정체성” 최적화v4 “thinking budget” 에 reasoning_tokens 를 오히려 감소 (-25%). RLHF 가 “긴 사고 = 패널티” 로 학습시킨 결과가 prompt 지시를 이김
DeepSeek R1 / Reasonerreasoning_content 필드로 CoT 를 별도 출력 채널 로 분리본문 §3.3, 본 프로젝트 Round 4~5 데이터 — timeout 240s → 500s 에 reasoning 이 burst (최대 15K 토큰) 하는 것이 관측됨
Claude Extended Thinkingthinking.budget_tokens API 파라미터 + thinking block 별도 생성본 프로젝트 Round 4 Claude 기록 — 28턴 침묵 후 10장 폭발 패턴이 extended thinking 의 “burst 성격” 증거
Ollama qwen2.5:3bCoT 없음, 일반 LLMthinking budget 지시어를 이해 못 함. Round 4 에서 0% Place Rate

이 네 모델이 전부 “추론 모델” 로 불리지만 메커니즘 레이어가 모두 다르다. 본문 §10 “경량 추론 모델의 지형” 에서 나는 o1-mini → o3-mini → GPT-5-mini 라는 OpenAI 경량 라인의 진화를 추적했는데, 오늘 깨달은 것은 이 진화가 “CoT 를 점점 아끼는 방향” 이었다는 것이다. 반면 DeepSeek 는 “CoT 를 점점 늘리는 방향” 으로 진화했다. 같은 단어를 쓰는데 반대 방향으로 움직이는 두 진화 경로.

A.5 이 발견의 프로젝트 의사결정 함의

  1. “reasoning model” 이라는 분류 개념을 우리 메모리에서 삭제 — 본문 §10 의 “경량 추론 모델의 지형” 표현은 과거 시점의 관찰로 유지하되, 앞으로는 “모델별 고유 추론 방식” 으로 구분. 한 프롬프트가 4모델 모두에서 동등 효과를 낼 수 없음을 받아들임
  2. v4.1 GPT variant 는 “reasoning 유도” 가 아니라 “reasoning 방해 제거” — SP1 (docs/03-development/20-common-system-prompt-v4-design.md) §6.3 v4-strict-json 설계 방향이 empirical 로 정당화됨. response_format json_schema + token efficiency hint 가 GPT 의 RLHF 정체성과 협력 하는 방향
  3. Round 6 OpenAI × 2 대전 은 OpenAI variant v2 default 유지. Day 4 Phase 2 의 OpenAI 2게임이 이 결정의 첫 실운영 사례
  4. 메트릭 수집 확장 — ai-adapter 의 GPT MetricsLogger 가 usage.completion_tokens_details.reasoning_tokens 필드를 캡처하는지 Day 5 확인. Round 6 OpenAI × 2 가 RummiArena 프로젝트에서 첫 reasoning_tokens 실측 기회
  5. 본문 § 3 “‘Reasoning Effort’ 라는 다이얼” 의 설명은 더욱 중요해졌음 — effort=”medium” 은 단순히 “중간” 이 아니라 RLHF 로 학습된 “GPT 의 정체성에 맞는 사고 예산” 이라는 의미. Anthropic 2026-04-07 의 API default effort medium→high 재변경 (Day 4 킥오프 스크럼 부주제에서 논의) 이 이 다이얼을 silently 틀어버린 사건과 정확히 같은 구조의 이슈. 도구의 silent change 는 우리가 측정하는 대상의 정체성을 바꾼다

A.6 부록 마무리 — 본문이 예언했던 결론

본문을 다시 읽으면서 놀란 부분이 있다. 본문 §11 “분산이 작다는 것” 에 이렇게 썼었다.

“GPT로 2회만 돌려도 분포의 개략을 알 수 있다. DeepSeek는 6회는 돌려야 할 것이다.”

Day 4 empirical 에서 N=3 만으로 Cohen d = -1.46 이라는 large negative effect size 가 나온 것은 이 예측이 정확했음을 보여준다. GPT 의 분산이 작기 때문에 N=3 으로도 “v4 가 reasoning 을 억제한다” 는 결론을 통계적으로 확실히 말할 수 있었다. 만약 DeepSeek 였다면 같은 결론에 도달하려면 훨씬 많은 반복이 필요했을 것이다.

그리고 본문 마지막에 썼던 문장 —

“그런 모델을 가졌다는 것은, 프로젝트 엔지니어로서 축복이다.”

이 축복이 오늘 새롭게 드러났다. 프롬프트 튜닝을 거부하는 일관성 자체가 축복이다. DeepSeek / Claude 는 프롬프트 variant 설계에 예민하고 실패 비용이 크지만, GPT-5-mini 는 프롬프트가 어떻게 바뀌든 “자기 방식대로 일관되게” 동작한다. Round 6 Phase 2 에서 OpenAI × 2 가 v2 default 로 돌아가는 동안, 나머지 모델들은 v4 variant 효과를 검증받는다. 실험군과 대조군이 자연스럽게 형성되는 이유 도 GPT 의 이 “프롬프트 변화에 덜 반응하는 성격” 덕분이다.

본문이 쓰인 2026-04-12 에는 이 성격이 “운영 효율” 의 관점에서만 평가되었다면, 2026-04-15 오늘 이후로는 “실험 방법론의 기반” 으로도 재평가된다. 놀라지 않는 모델은 기준점 이 된다. 기준점이 있어야 다른 모델의 변화를 잴 수 있다. 이 프로젝트에서 GPT-5-mini 가 가진 두 번째 역할이 오늘 드러났다.

Sources

AI, RummiArena
AI RummiArena GPT-5-mini OpenAI reasoning-effort overthinking-tax Claude.write
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.