AI는 왜 돈이 안 될까? — AX 시대의 인프라·비용·운영 문제와 글로벌 대응 전략
출처 기사: CJ올리브네트웍스·AWS가 짚은 ‘인프라의 문제’ (테크42, 2026.03.26)
분석 작성일: 2026년 3월 27일
분류: AI 전환(AX), 인프라 전략, FinOps, Agentic AI, 커머스·공급망 혁신
목차
- 배경: 왜 이 기사가 중요한가
- 한국 클라우드 시장의 10년 여정
- DX에서 AX로: 비용 구조의 근본적 변화
- AI 파일럿이 실패하는 이유: 글로벌 데이터로 보다
- FinOps의 진화: AI 시대의 비용 관리 새 패러다임
- 인프라와 비즈니스의 결합: 커머스 혁신 사례
- 공급망의 에이전트화: AWS와 글로벌 사례
- 멀티 모델 아키텍처와 비용 최적화 전략
- CJ올리브네트웍스의 전략적 포지션
- 시사점 및 결론: AI 경쟁의 진짜 전선
1. 배경: 왜 이 기사가 중요한가
2026년 3월 24일, CJ올리브네트웍스는 서울 CJ인재원 그랜드홀에서 ‘AX INFRA & OPS 2026’ 행사를 개최했다. 주제는 “Architecting Intelligence: The Core of AI Business(지능을 설계하다: AI 비즈니스의 핵심)” 였다. AWS, Datadog, Kong, Dnotitia, Rimini Street 등 글로벌 파트너사들이 참여한 이 행사는 단순한 기술 트렌드 소개를 넘어, AI 전환(AX)의 실제 성과 연결을 위한 실행 전략에 집중했다.
이 기사는 두 발표자의 내용을 중점적으로 다룬다. 김기수 CJ올리브네트웍스 클라우드사업 팀장과 우승도 AWS 사업개발 담당이다. 두 사람의 메시지는 표면적으로는 달랐지만 핵심은 같았다.
“AI 경쟁의 핵심은 모델 성능이 아니라, 이를 실제 비즈니스에 연결하는 구조에 있다.”
이 명제는 한국 기업만의 문제가 아니다. 전 세계 기업들이 동일한 벽 앞에 서 있다. 이 문서는 기사의 내용을 정밀하게 분해하고, 최신 글로벌 사례와 연구 데이터를 통해 맥락을 넓히는 것을 목표로 한다.
2. 한국 클라우드 시장의 10년 여정
김기수 팀장이 발표 첫머리에 한국 클라우드 시장의 역사를 짚은 이유는 단순한 회고가 아니다. 과거의 경로를 이해해야 현재의 문제를 정확히 진단할 수 있다는 판단에서다.
2.1 1단계: 규제와 보안의 시대 (2012~2018년)
한국 클라우드 시장의 초기는 규제와 보안이 지배했다. 개인정보 유출 사고 이후 강화된 규제 환경에서 기업들은 클라우드의 편의성보다 규정 준수 여부를 우선시했다. 망분리, DB 암호화, 접근 통제, 로그 관리 등 복잡한 요구 조건을 구현하는 과정에서 MSP(Managed Service Provider) 가 핵심 중개자로 부상했다.
이 시기는 클라우드를 “쓰고 싶어도 못 쓰던” 시대였다. 금융권의 경우 금융위원회의 클라우드 이용 가이드라인이 정비된 2019년 이후에야 본격화됐다.
2.2 2단계: DX 전환과 아키텍처 현대화 (2019~2023년)
금융권과 대기업을 중심으로 클라우드 전환이 가속화된 시기다. 스타트업에서 축적된 경험이 대기업 IT 조직으로 이식됐고, 마이크로서비스 아키텍처(MSA), 컨테이너, Kubernetes 등 클라우드 네이티브 기술이 확산됐다. 이 시기의 화두는 “어떻게 클라우드로 이전할 것인가” 였다.
2.3 3단계: AX 시대의 복합 운영 환경 (2024년~현재)
클라우드는 이제 기본 전제가 됐다. 기업의 고민은 한 단계 올라갔다. 이제 문제는 클라우드 도입이 아니라 AI를 얹은 이후 발생하는 복잡성을 어떻게 통제하느냐다.
1
2
3
4
5
DX 시대의 비용 구조:
클라우드 인프라 비용 + 인력 비용
AX 시대의 비용 구조:
클라우드 인프라 비용 + GPU 인프라 비용 + LLM 토큰 비용 + 레거시 시스템 유지 비용 + 인력 비용
비용 구조가 복잡해졌을 뿐만 아니라, 이 비용들이 서로 다른 단위와 주기로 발생하기 때문에 한눈에 파악하기 어려운 구조가 됐다. 이것이 김기수 팀장이 “비용 가시성”을 핵심 키워드로 강조한 이유다.
3. DX에서 AX로: 비용 구조의 근본적 변화
3.1 비용 점프의 이중 충격
김기수 팀장은 비용 점프가 두 차례 발생한다고 설명했다.
- 1차 비용 점프 (DX 전환 시): 온프레미스에서 클라우드로 이동할 때 발생. 초기 비용 상승 후 운영 효율화로 안정화.
- 2차 비용 점프 (AX 전환 시): AI 워크로드 추가 시 발생. GPU 비용, 토큰 비용, 새로운 데이터 파이프라인 비용이 동시에 증가. 안정화 시점이 불명확.
특히 AX 전환의 비용은 예측하기 어렵다는 점이 근본적 차이다. DX 전환은 마이그레이션이 완료되면 비용이 어느 정도 예측 가능해지지만, AI 워크로드는 사용자 행동, 모델 선택, 출력 길이 등에 따라 비용이 급격히 변동한다.
3.2 AI 비용의 새로운 차원들
전통적인 클라우드 비용 관리에서는 CPU, 메모리, 스토리지, 네트워크가 핵심 변수였다. AX 시대에는 이에 더해 다음 차원이 추가된다.
GPU 비용: H100, A100 등 AI 가속 칩의 수요 급증으로 공급이 부족하고 가격이 불안정하다. 인스턴스 예약이나 스팟 인스턴스 활용이 전략적으로 중요해졌다.
토큰 비용: LLM을 API로 사용할 때 입력·출력 토큰 수에 따라 비용이 발생한다. 사용자가 늘수록 비용이 선형이 아닌 급격한 곡선으로 증가할 수 있다. 2억 명의 사용자가 동시에 LLM에 질문한다면 토큰 비용은 감당하기 어려운 수준에 도달한다.
추론(Inference) vs. 학습(Training) 비용의 분리: 모델 학습은 일회성 대형 비용이지만, 추론은 운영 중 지속적으로 발생하는 비용이다. 특히 실시간 서비스에서는 추론 비용이 전체 AI 운영비의 대부분을 차지하게 된다.
레거시 시스템 연동 비용: AI를 기존 ERP, CRM, SCM 시스템과 연동하는 과정에서 발생하는 통합 비용 역시 종종 과소평가된다.
4. AI 파일럿이 실패하는 이유: 글로벌 데이터로 보다
우승도 AWS 담당은 AI 프로젝트가 파일럿 단계에서 멈추는 이유로 세 가지를 꼽았다. 비용 증가, 응답 지연(latency), 정확도 문제(hallucination). 이 관찰은 글로벌 연구 데이터와 정확히 일치한다.
4.1 충격적인 실패율 통계
2025~2026년 발표된 주요 기관 연구들이 보여주는 숫자는 매우 엄중하다.
MIT NANDA Initiative (2025): 150건의 인터뷰, 350명 직원 설문, 300건의 공개 AI 배포 분석을 바탕으로 한 연구. 결론은 기업 AI 파일럿의 약 95%가 빠른 매출 성장으로 이어지지 못한다는 것이다. 나머지 5%만이 실질적인 성과를 냈다.
RAND Corporation (2024): AI 프로젝트의 80.3% 가 의도한 비즈니스 가치를 제공하지 못한다. 세부 분류는 프로덕션 진입 전 포기 33.8%, 완료했지만 가치 없음 28.4%, 비용 정당화 불가 18.1%였다.
2026년 3월 기업 기술 리더 650명 설문: AI 에이전트 파일럿을 보유한 기업은 78% 에 달하지만, 조직 전체 수준의 프로덕션 배포에 성공한 기업은 14% 에 불과하다. “파일럿은 있지만 프로덕션은 없다”는 현실이다.
Gartner (2025): GenAI 프로젝트의 30%가 PoC 이후 포기. 40%가 이상적인 AI-ready 데이터 없이 2026년까지 중단 예상.
Deloitte: 2026년 전 세계 AI 지출이 2.5조 달러에 달하지만, 95%의 파일럿이 측정 가능한 가치를 내지 못한다.
4.2 왜 실패하는가: 5가지 구조적 원인
2026년 3월 연구에서 확인된 실패의 5대 원인은 전체 실패 사례의 89%를 설명한다.
① 레거시 시스템과의 통합 복잡성: 파일럿은 깨끗한 환경에서 진행되지만, 실제 기업 환경은 수십 년 된 레거시 시스템과 얽혀 있다. API 문서가 약속하는 것과 실제 프로덕션 구현 사이의 간극이 가장 큰 실패 요인이다.
② 대규모 환경에서의 품질 저하: 소규모 파일럿에서 검증된 정확도가 대용량 트래픽에서 유지되지 않는다. 200건의 테스트에서 25%의 성공률이 나왔더라도 2,000건에서는 15%로 떨어질 수 있다.
③ 모니터링 도구의 부재: AI 에이전트가 실제로 무엇을 하는지 추적하는 도구 없이는 문제가 생겨도 감지가 불가능하다.
④ 조직적 소유권(Ownership)의 불명확: 누가 AI 시스템의 성과에 책임을 지는가가 정해지지 않으면, 문제 발생 시 아무도 해결에 나서지 않는다.
⑤ 도메인 학습 데이터 부족: AI가 실제 비즈니스 맥락을 이해하려면 도메인 특화 데이터가 필요한데, 많은 조직이 이 준비 없이 범용 모델에 의존한다.
4.3 실패 비용의 규모
실패한 AI 프로젝트 하나의 평균 비용은 420만~840만 달러(약 55억~110억 원)로 추정된다. 2025년 기준 글로벌 AI 투자 6,840억 달러 중 약 80%인 5,470억 달러가 의도한 비즈니스 가치를 내지 못한 것으로 분석됐다.
5. FinOps의 진화: AI 시대의 비용 관리 새 패러다임
5.1 FinOps 2026: 클라우드를 넘어 AI로
FinOps Foundation의 State of FinOps 2026 보고서는 현 상황을 명확하게 보여준다. 응답자의 98% 가 AI 지출을 FinOps 범위에서 관리하고 있다. 2년 전 이 비율은 31%였다. 2년 만에 AI 비용 거버넌스는 실험적 영역에서 보편적 영역으로 전환됐다.
FinOps Foundation은 이에 맞춰 공식 미션을 “클라우드 가치를 관리하는 사람들 지원”에서 “기술 가치를 관리하는 사람들 지원” 으로 업데이트했다. 클라우드 비용 관리 도구에서 기술 전반의 가치 관리 시스템으로의 진화다.
5.2 AI FinOps가 전통 FinOps와 다른 이유
전통적인 FinOps는 예측 가능한 VM과 예약 인스턴스 결정에 의존했다. AI 워크로드는 본질적으로 다르다.
예측 불가능성: 추론 비용은 사용자 요청, 모델 선택, 출력 길이에 따라 급격히 변동한다. 분기별 버킷 방식의 예측 모델이 붕괴된다.
세분화된 텔레메트리 필요: GPU, TPU, 모델 API 호출, 서드파티 LLM 비용은 단순 CPU/RAM 지표와 다르다. 모델별, 엔드포인트별 비용이 비즈니스 지표(요청당 매출, 지연 SLA 등)와 연결돼야 한다.
최적화의 속도: 모델 선택이나 서빙 토폴로지 하나가 비용을 하룻밤 사이에 두 배로 만들 수 있다. 분기별 검토로는 대응이 불가능하다.
IDC FutureScape 2026 전망: 2027년까지 G1000 조직들은 과소평가된 AI 인프라 비용으로 인해 최대 30% 비용 상승에 직면할 것이다. AI 에이전트가 수천 개 배포될 경우 이 문제는 기하급수적으로 심화된다.
5.3 실전 AI FinOps 전략
글로벌 선도 기업들이 채택하고 있는 AI FinOps 핵심 전략은 다음과 같다.
비용 가시성 확보 (Cost Visibility): GPU 사용량, 토큰 비용, 기존 인프라 비용을 단일 대시보드에서 통합 조회. 모델별·엔드포인트별·팀별 비용 태깅이 선행 조건이다.
모델 라우팅 (Model Routing): 모든 요청을 최대 모델로 처리하지 않고, 요청의 복잡도에 따라 최적 모델을 선택하는 라우팅 레이어 구축. 간단한 FAQ는 소형 모델로, 복잡한 분석만 대형 모델로.
캐싱 전략: 반복적인 유사 질의에 대한 응답을 캐싱하여 LLM 호출 자체를 줄임. 특히 정형화된 고객 문의에서 비용 절감 효과가 크다.
배치 처리 최적화: 실시간이 필요 없는 워크로드는 오프피크 시간대 배치로 처리하여 비용 절감.
스팟 인스턴스 활용: 비중요 학습 작업에 스팟 인스턴스를 활용하면 GPU 비용을 최대 70% 절감할 수 있다.
6. 인프라와 비즈니스의 결합: 커머스 혁신 사례
우승도 AWS 담당은 아마존의 커머스 혁신을 핵심 사례로 제시했다. “소비자는 더 이상 단순 검색을 하지 않는다”는 그의 관찰은 데이터로 뒷받침된다.
6.1 대화형 쇼핑으로의 전환
Amazon Rufus: 아마존의 AI 쇼핑 어시스턴트. 2025년 한 해 동안 2억 5,000만 명의 쇼퍼가 사용했으며, 월간 활성 사용자는 전년 대비 140% 성장했다. 아마존에 따르면 Rufus 사용자는 비사용자 대비 구매 완료율이 60% 높다.
Rufus가 처리하는 질의는 단순 키워드 검색이 아니다. “넓은 발에 맞는 $120 이하 가벼운 러닝화”, “가을 파리 결혼식에 입을 드레스”, “이 상황에 필요한 상품”처럼 다중 요소를 동시에 처리하는 복합 질의다. 이는 표준 LLM이 한 번에 모든 요소를 정확히 추출하는 데 어려움을 겪는 수준의 복잡성이다.
아마존 “Buy For Me”: 소비자가 아마존 앱을 떠나지 않고 다른 브랜드와 리테일러의 웹사이트에서 쇼핑할 수 있게 하는 에이전트 기능. 100만 개 이상의 상품, 40만 개 이상의 판매자를 커버하며 Prime 구독자가 저장된 아마존 결제 정보로 즉시 구매 가능하다.
6.2 AI 쇼핑 전쟁: 글로벌 경쟁 구도
2025년은 “에이전틱 커머스의 인프라 구축” 원년이었다면, 2026년은 누구의 AI 에이전트가 쇼핑의 기본 인터페이스가 될 것인가를 결정짓는 해다.
OpenAI: ChatGPT에 결제 기능을 직접 내장. Target, Instacart, DoorDash와 파트너십을 체결하여 ChatGPT 내에서 구매 완료가 가능하다. OpenAI+Stripe의 Agentic Commerce Protocol은 사용자가 ChatGPT 대화 안에서 구매할 수 있는 인프라 표준을 제시했다.
Perplexity: 2024년 11월 미국 구독자 대상 AI 쇼핑 에이전트 “Buy with Pro” 출시. 플랫폼 내에서 검색·비교·구매까지 원스톱 처리.
Walmart: Walmart Sparky를 통해 AI 쇼핑 어시스턴트를 구축. 공급망 혁신에도 AI를 적극 투자 중이며, Forrester는 AI와 머신러닝 투자로 Amazon과 Walmart가 향후 5년간 소매 시장 점유율을 더 확대할 것으로 전망한다.
Visa·Mastercard: AI 에이전트가 사용자를 대신해 거래를 완료할 수 있는 에이전트 결제 토큰(agentic payment tokens) 개발 중.
McKinsey 전망: 에이전틱 AI가 2030년까지 글로벌 소매 커머스에서 3조~5조 달러의 영향을 미칠 것으로 추정.
6.3 인프라가 핵심이었다: 비용 최적화의 실전
우승도 담당이 아마존 사례에서 강조한 핵심은 “AI 모델이 아니라 인프라 구조”였다. 2억 명 이상의 사용자가 동시에 LLM에 질의한다면 토큰 비용은 폭발적으로 증가한다. 아마존이 선택한 구조는 다음과 같다.
캐싱 레이어: 반복적인 질의 패턴을 캐싱하여 LLM 호출 자체를 최소화. 대부분의 호출이 LLM에 도달하지 않는다.
모델 라우팅: 요청의 복잡성에 따라 적합한 모델로 분기. 간단한 질의는 소형·저비용 모델이, 복잡한 추론만 대형 모델이 처리.
멀티 모델 구조: 단일 모델에 모든 트래픽을 집중시키지 않고, 용도에 따라 최적화된 모델을 분산 배치.
이 구조의 결과: 비용 절감 + 정확도 향상. 두 목표가 상충하는 것이 아니라, 올바른 인프라 설계를 통해 동시에 달성 가능하다는 것이 아마존의 실증이다.
7. 공급망의 에이전트화: AWS와 글로벌 사례
7.1 공급망 AI의 현재
우승도 담당은 커머스에 이어 공급망에 같은 원리가 적용된다고 설명했다. 수요 예측, 재고 관리, 발주 결정이 에이전트 기반으로 재구성되고 있다는 것이다.
McKinsey에 따르면 에이전틱 AI의 공급망 적용은 전체 기능 비용의 3~4%, 즉 2,900억~5,500억 달러의 비용 절감 잠재력을 가진다. EY 조사에서는 공급망 조직의 40% 가 이미 생성형 AI 기술에 투자하고 있다.
7.2 Amazon의 공급망 에이전트: 구체적 사례
재고 관리 에이전트: 아마존은 에이전틱 AI를 활용해 구매 트렌드를 예측하고 재고 수준을 동적으로 조정한다. 이를 통해 품절(stockout)을 32% 감소시켰다.
공급망 에이전트 팀 신설: 아마존은 창고 로봇이 자연어 명령을 이해할 수 있도록 하는 프레임워크 구축을 위한 전담 에이전틱 AI 팀을 설립했다. AI를 활용한 재고 계획은 날씨 등 시간 구속적 데이터를 고려하여 배송 정확도를 높이고 있다.
Amazon Seller Assistant의 에이전트화: 셀러 어시스턴트는 이제 에이전틱 AI로 구동된다. 재고 수준 모니터링, 부진 상품 표시, 가격 인하 또는 제거 권고, 아마존 담당자 승인 하에 배송 일정 수립까지 가능하다. Amazon VP 다르메쉬 메타에 따르면 이 에이전트는 25년치 쇼핑 데이터로 훈련됐다.
Supply Chain by Amazon: 자동화된 글로벌 창고 운영과 AI 기반 통관(customs clearance)을 포함한 서비스 확장.
7.3 AWS와 A*STAR의 실제 구현 사례
AWS ProServe 팀은 A*STAR(싱가포르 과학기술연구청)와 협력하여 Logistics Agent를 구축했다. Amazon Bedrock 기반으로 구축된 이 시스템은 다음과 같이 작동한다.
공급망 담당자가 자연어로 질의하면 — “발주 번호 #12345의 상태를 알려줘” — 에이전트는 날씨 데이터, 배송 업데이트 등 복수의 데이터 소스를 통합하여 실행 가능한 인사이트를 즉시 제공한다. 필요하면 해당 시스템의 데이터를 직접 변경할 권한도 부여할 수 있다.
다중 에이전트 협업의 예시: 고객이 주문 특급 처리를 요청하면, 에이전트 A는 주문 상태를 조회하고, 에이전트 B는 재고를 확인하고, 에이전트 C는 특급 비용 테이블을 확인하고, 에이전트 D는 모든 정보를 종합해 다음 권고 행동을 제시한다. 인간이 수십 분 걸릴 작업이 수초 안에 완료된다.
7.4 Walmart의 공급망 AI
Walmart는 아마존과 대등하게 공급망 AI에 투자하고 있다. Forrester는 양사가 AI, 머신러닝, 자동화, 고객 경험에 대한 투자를 통해 향후 5년간 소매 시장 점유율을 더욱 확대할 것으로 전망했다. Walmart Sparky는 쇼핑 어시스턴트 기능뿐 아니라 공급망 최적화에도 AI를 활용 중이다.
8. 멀티 모델 아키텍처와 비용 최적화 전략
이 섹션은 기사에서 직접 다루지 않았지만, 우승도 담당이 언급한 “멀티 모델 구조”와 “모델 라우팅”을 더 깊이 이해하기 위해 글로벌 사례를 추가로 분석한다.
8.1 왜 단일 모델에만 의존하면 안 되는가
대규모 서비스에서 모든 요청을 GPT-4o나 Claude Opus 같은 최대 성능 모델로 처리하면 비용이 폭발적으로 증가한다. 실제로 토큰 비용은 총 AI 운영 비용 추정치보다 3~5배 높게 나오는 경우가 일반적이다.
8.2 실전 멀티 모델 라우팅 아키텍처
1
2
3
4
5
6
7
8
9
10
11
사용자 요청 입력
↓
복잡도 분류기 (경량 ML 모델)
↓
┌─────────────────────────┐
│ 복잡도 등급 판정 │
└─────────────────────────┘
↓ ↓ ↓
[단순 FAQ] [중간 복잡도] [고복잡 추론]
캐시/규칙기반 소형 LLM 대형 LLM
(비용 최소) (중간 비용) (최고 성능)
캐싱: 동일하거나 유사한 질의가 반복될 때 LLM 호출 없이 캐시에서 응답을 반환. 고객서비스 봇의 경우 질의의 상당 비율이 유사한 패턴을 보이므로 효과가 크다.
모델 라우팅: 요청 특성을 분석하여 최적 모델로 분기. 단순한 질문은 소형 모델로, 복잡한 분석·창작·추론은 대형 모델로.
배치 처리: 실시간 응답이 필요 없는 작업(이메일 초안, 보고서 생성 등)은 오프피크 시간대에 배치로 처리.
8.3 인프라 비용 절감의 실전 수치
글로벌 FinOps 실무자들이 보고하는 최적화 효과:
- 스팟 인스턴스 활용: 비중요 학습 작업에서 GPU 비용 최대 70% 절감
- 모델 라우팅 적용: 전체 토큰 비용 30~50% 절감 (사례에 따라 다름)
- 캐싱 전략 적용: 반복성 높은 서비스에서 LLM 호출 40~60% 감소
- 배치 처리 전환: 해당 워크로드에서 비용 20~40% 절감
9. CJ올리브네트웍스의 전략적 포지션
9.1 MSP에서 AX 파트너로
CJ올리브네트웍스는 한국 클라우드 시장 초기부터 MSP로 활동하며 규제 대응, 보안 구현, 클라우드 운영 관리에서 역량을 쌓았다. AX 시대에는 이 역량을 기반으로 AI 전환 전문 파트너로 포지셔닝을 재정립하고 있다.
김기수 팀장이 제시한 전략의 핵심은 두 가지다.
이기종 환경 통합 운영: AWS, Azure, GCP 등 멀티클라우드 환경에 GPU 인프라, 온프레미스 레거시까지 포함된 복합 환경을 표준화된 방식으로 통합 운영하는 체계.
비용 가시성 극대화: AI 전환 과정에서 발생하는 모든 비용 — GPU, 토큰, 기존 인프라 — 을 하나의 뷰에서 파악하고 절감 포인트를 식별할 수 있는 대시보드와 프로세스 제공.
9.2 글로벌 MSP의 AI FinOps 전환 패턴
CJ올리브네트웍스의 방향은 글로벌 MSP들의 공통적인 진화 경로와 일치한다.
전통적 MSP의 역할이 인프라 운영·관리에 집중됐다면, 2026년의 MSP는 비용 관리와 AI 비즈니스 가치 연결을 핵심 서비스로 제공해야 한다. State of FinOps 2026 보고서는 FinOps가 “클라우드 비용 최적화”에서 “기술 가치 관리 전반”으로 진화했다고 명시한다.
FinOps와 AIOps의 수렴 역시 주목할 트렌드다. AI가 인프라 복잡성과 비용 변동성을 증가시키고, FinOps가 그 비용을 관리하며, AI가 다시 FinOps의 생산성을 향상시키는 피드백 루프가 형성되고 있다.
10. 시사점 및 결론: AI 경쟁의 진짜 전선
10.1 다섯 가지 핵심 인사이트
이 기사와 글로벌 데이터를 종합하면 2026년 기업 AI 경쟁의 핵심 인사이트 다섯 가지가 도출된다.
① AI의 문제는 기술이 아니라 운영과 비즈니스다: 우승도 담당의 표현 그대로 “AI는 기술만의 문제가 아니라 결국 비즈니스 문제”다. 모델 성능은 이미 충분하다. 문제는 그것을 실제 비즈니스에 연결하는 인프라와 운영 구조다.
② 비용 가시성이 없으면 의사결정이 불가능하다: GPU 비용, 토큰 비용, 레거시 비용이 분리된 시스템에서 파편화되어 보이면, 기업은 어디서 비용이 새는지 알 수 없다. 비용 가시성은 AI 투자 ROI 측정의 전제 조건이다.
③ 파일럿에서 프로덕션으로의 벽은 조직적·운영적 문제다: 전 세계 기업의 78%가 AI 에이전트 파일럿을 보유하지만 14%만이 프로덕션에 도달했다는 데이터는 기술이 아닌 조직과 운영의 문제임을 보여준다. 명확한 소유권, 모니터링 인프라, 도메인 데이터 준비가 성공을 결정한다.
④ 모델 선택보다 인프라 설계가 비용 경쟁력을 결정한다: 아마존이 보여준 것처럼, 동일한 AI 기능도 캐싱·라우팅·멀티모델 구조로 비용을 수십 배 차이로 운영할 수 있다. 모델 자체가 아닌 그것을 둘러싼 인프라 설계가 경쟁력이다.
⑤ 클라우드 10년의 교훈이 AX의 기반이 된다: 한국 기업들이 클라우드 전환 과정에서 쌓은 규정 대응, 보안 구현, 운영 관리 역량은 AX 시대의 자산이 된다. 이 기반 위에 AI를 얹는 것이 한국 기업의 고유한 경로다.
10.2 기업이 지금 당장 해야 할 것
글로벌 선도 기업들의 사례에서 추출한 즉각 실행 가능한 과제들이다.
단기 (1~3개월)
- 현재 AI 워크로드의 비용 태깅 체계 수립 (모델별·팀별·프로젝트별)
- 추론 비용 모니터링 대시보드 구축
- 현재 LLM 호출 패턴 분석 → 캐싱 가능한 반복 패턴 식별
중기 (3~6개월)
- 모델 라우팅 레이어 설계·구현
- AI 프로젝트별 ROI 측정 프레임워크 수립
- 전담 AI Ops 소유권 구조 확립
장기 (6개월~)
- 에이전틱 워크플로우를 프로덕션에 점진적 배포
- FinOps와 AIOps 통합 운영 체계 구축
- 도메인 특화 학습 데이터 거버넌스 정비
10.3 최종 결론
2026년 한국과 세계의 기업들이 마주한 AI 과제는 동일한 본질을 공유한다. 클라우드가 지난 10년 동안 기업 운영의 기본 인프라가 됐듯이, AI는 이제 그 위의 새로운 층이 되고 있다.
그러나 클라우드와 AI의 결정적 차이가 있다. 클라우드 도입의 성패는 “얼마나 잘 이전했는가”였지만, AI 전환의 성패는 “얼마나 효율적으로 운영하고, 비용을 통제하고, 비즈니스 성과로 연결했는가” 다. 도입 자체가 아닌, 지속 가능한 운영이 기준이다.
CJ올리브네트웍스가 제시한 통합 운영과 비용 가시성, AWS가 보여준 커머스·공급망 혁신 사례는 모두 같은 방향을 가리킨다. AI 인프라는 비즈니스와 붙어야 한다. 기술 부서의 전유물이 아니라, 비즈니스 가치 창출의 엔진으로 재정의될 때 AI 투자가 비로소 ROI를 낸다.
그리고 그 전환을 가능하게 하는 것이 비용 가시성, 모델 라우팅, 에이전틱 워크플로우, 그리고 이 모든 것을 통합하는 운영 체계다. 이것이 2026년 AX 경쟁의 진짜 전선이다.
참고 자료
| 출처 | 내용 | 날짜 |
|---|---|---|
| 테크42 | CJ올리브네트웍스·AWS ‘AX INFRA & OPS 2026’ 현장 보고 | 2026.03.26 |
| FinOps Foundation | State of FinOps 2026 | 2026 |
| IDC FutureScape | CIO and CTO Agenda 2026 | 2025.12 |
| MIT NANDA Initiative | The GenAI Divide: State of AI in Business 2025 | 2025.07 |
| RAND Corporation | AI Implementation Failure Analysis | 2024 |
| Digital Applied | AI Agent Scaling Gap: Pilot to Production (March 2026 Survey) | 2026.03 |
| Pertama Partners | AI Project Failure Statistics 2026 | 2026.02 |
| Modern Retail | Why the AI Shopping Agent Wars Will Heat Up in 2026 | 2026.01 |
| PYMNTS | Agentic Commerce in March 2026 | 2026.03 |
| Neuwark | Conversational Commerce in 2026 | 2026.03 |
| Forrester | Amazon Accelerate 2025 Seller Event Takeaways | 2025.10 |
| AWS Blog | Transform Supply Chain Logistics with Agentic AI | 2025.10 |
| Supply Chains Magazine | The Impact of Agentic AI on Supply Chain Management | 2025 |
| McKinsey | Supply Chain AI Cost Reduction Estimates | 2025 |
| theCUBE Research | FinOps 2026: Shift Left and Up as AI Drives Technology Value | 2026.02 |
| Deloitte Luxembourg | The First AI Use Case: Infrastructure or Technical Debt? | 2026.03 |
이 문서는 공개된 기사와 글로벌 연구 자료를 바탕으로 작성된 분석 문서입니다. 인용된 통계 수치는 각 출처의 연구 방법론에 따른 추정치입니다.