인공지능 시대의 협업 플랫폼: 맥락 관리가 만드는 새로운 금광
관련글
인공지능 시대의 Slack: 금광 “맥락”을 독점하는 진짜 돈 버는 B2C 플랫폼
개요
Ian Park의 “인공지능 시대의 Slack” 글은 단순히 새로운 소프트웨어 아이디어를 제안하는 것을 넘어, AI 시대에 가장 중요한 자산이 무엇인지를 날카롭게 포착하고 있습니다. 그것은 바로 ‘맥락(Context)’입니다. 2026년 1월 현재, 우리는 AI 도구의 폭발적 증가와 함께 새로운 문제에 직면하고 있습니다. 사용자들은 여러 AI 모델을 동시에 사용하지만, 각 모델은 서로의 존재를 모르고, 사용자는 매번 자신을 다시 소개해야 하는 상황입니다. Ian Park은 이 문제의 본질을 “AI 유목민”이라는 표현으로 정확히 짚어냈습니다.
이 문서는 Ian Park의 통찰을 2026년 1월 현재의 최신 시장 동향 및 기술 발전과 결합하여 분석합니다. AI orchestration 시장의 급성장, Slack의 AI agent 통합, 온디바이스 AI의 부상, 그리고 context management의 진화를 종합적으로 살펴보면서, 왜 “맥락 관리”가 차세대 B2C SaaS의 핵심 기회인지를 밝힙니다.
핵심 문제: AI 유목민의 딜레마
파편화된 AI 경험
현대의 AI 사용자는 평균적으로 5개 이상의 AI 도구를 상황에 따라 전환하며 사용합니다. Ian Park 자신의 예시처럼, 중요한 프로젝트는 Gemini로, 코딩은 Claude로, 음성 기록은 Whisper Note로, 오프라인은 QWEN 3로 나누어 사용하는 것이 일상화되었습니다. 이는 두 가지 심각한 문제를 야기합니다.
첫째는 경험의 파편화입니다. Gemini에서 나눈 심도 있는 프로젝트 기획 내용을 Claude는 전혀 알지 못합니다. 사용자는 매번 “나는 ~한 사람이고, 지금 ~를 하고 있어”라고 자기소개를 다시 해야 합니다. 이는 단순한 불편함을 넘어, AI와의 대화 품질을 근본적으로 떨어뜨립니다. AI가 맥락을 모르면, 그것은 단순한 검색 엔진에 불과합니다.
둘째는 컨텍스트 오염입니다. 반대로 하나의 모델만 고집하면 섞이면 안 될 정보가 섞입니다. 가령 Gemini로 이미지를 생성하다 보면, 중요한 ‘사업 전략’ 맥락에 “오늘 코스트코 영업해?”같은 잡담이 섞여 들어가 답변 품질을 떨어뜨립니다. 이는 나중에 데이터 관리할 때 심각한 노이즈가 됩니다.
단일 모델 수렴의 환상
그렇다면 미래에는 압도적인 단일 모델이 등장해 모든 문제를 해결할까요? Ian Park은 세 가지 근거로 이를 부정합니다.
기술의 민주화가 진행되고 있습니다. DeepSeek의 사례가 보여주듯, 이제 SOTA(State of the Art) 모델을 만드는 비용과 시간이 급격히 줄어들고 있습니다. 2025년 말부터 시작된 reasoning 모델들(Claude Opus 4.5, GPT-5.2, Gemini 3 Pro)의 경쟁은 이 트렌드를 더욱 가속화했습니다. 진입장벽이 낮아지면서 다양한 플레이어들이 시장에 진입하고 있습니다.
경쟁의 심화는 특화로 이어집니다. 모델 성능이 수렴하면서 차별화는 특화 영역으로 갈립니다. 코딩 특화(Claude Code, Cursor), 의료 특화, 법률 특화 등 각 분야에 최적화된 모델들이 등장하고 있습니다. 사용자는 결국 ‘상황에 맞는 최적의 모델’을 골라 쓰게 될 것입니다. 실제로 2026년 초 현재, 기업들은 평균 2-4개의 다른 AI 모델을 혼용하며 비용, 품질, 특화 기능을 최적화하고 있습니다.
개인정보 보호 이슈가 심화되고 있습니다. 모든 것을 하나의 클라우드 모델에 맡기는 것은 점점 더 위험하고 불편해지고 있습니다. EU AI Act를 비롯한 각국의 규제 강화와 데이터 주권(Sovereign AI) 움직임은 이 트렌드를 더욱 강화하고 있습니다. 민감한 정보는 로컬 모델로, 일반적인 작업은 클라우드로 분리하는 것이 자연스러운 흐름이 되고 있습니다.
핵심 해결책: 모델 중립적 맥락 관리 플랫폼
기술적 이해: 모델은 뇌가 아니라 교체 가능한 부품
Ian Park이 강조하는 핵심 통찰은 많은 사람들이 오해하는 기술적 사실입니다. “AI 모델이 나를 기억한다”는 것은 착각입니다. 모델 자체는 학습이 끝난 상태로 정적으로 존재합니다. 우리가 느끼는 ‘기억’은 대화창에 입력되거나 별도로 저장된 맥락을 모델이 매번 다시 읽어들이는 과정일 뿐입니다.
이는 엄청난 기회를 시사합니다. 나의 맥락(Context)은 거대 모델 안에 갇혀 있는 게 아니라, 내 계정이나 로컬 드라이브에 ‘텍스트 파일’로 존재합니다. 이 텍스트 파일만 잘 관리하면, 뇌(모델)를 갈아끼우는 것은 일도 아닙니다. OpenAI에 내 모든 데이터를 맡길 필요가 없습니다. 내 데이터를 내가 쥐고, 필요할 때마다 Gemini를 부르든, Claude를 부르든, 아니면 내 노트북의 로컬 모델 Qwen을 부르든 선택만 하면 됩니다.
Model Context Protocol(MCP)의 등장과 표준화
2025년 말부터 2026년 초까지, AI orchestration 분야에서 가장 중요한 발전은 Model Context Protocol(MCP)의 등장입니다. Anthropic이 제안한 이 프로토콜은 AI 모델과 도구, 컨텍스트 간의 표준화된 인터페이스를 제공합니다. 2026년 1월 현재, MCP는 빠르게 업계 표준으로 자리잡고 있으며, n8n, Vercel AI Gateway, Azure MCP Hub, Google Context Broker 등 주요 플랫폼들이 네이티브 지원을 시작했습니다.
MCP v1.3은 특히 context engineering에 혁신을 가져왔습니다. 토큰 윈도우가 1백만 이상으로 확장되면서, 맥락 관리의 새로운 도전과제가 생겼습니다. MCP v1.3은 pruning(가지치기), summary caching(요약 캐싱), semantic chunking(의미론적 분할)을 도입하여 context overload를 방지합니다. 이는 장기 실행되는 multi-agent 시스템에서 이전에 30-50%의 실패율을 야기했던 context bloat 문제를 해결하는 데 핵심적입니다.
AI Orchestration 시장의 폭발적 성장
AI orchestration 시장은 2025년에 114.7억 달러에 도달했으며, 연평균 23%의 성장률을 기록하고 있습니다. 이는 단순한 기술 트렌드가 아니라, 기업들이 AI를 실제 production 환경에 배포하면서 필수적으로 직면하는 요구사항의 반영입니다. 실제로 AI 프로젝트의 70-85%가 목표 달성에 실패하고, 66%의 기업이 ROI 정의에 어려움을 겪는 상황에서, orchestration은 더 이상 선택이 아니라 필수가 되었습니다.
Orchestration이 해결하는 핵심 문제는 다음과 같습니다. 첫째, multi-model 지원입니다. GPT, Claude, Gemini 등 다양한 모델을 상황에 따라 최적으로 활용합니다. 둘째, 거버넌스와 보안입니다. 누가 어떤 데이터에 접근할 수 있는지, 어떤 작업을 수행할 수 있는지를 체계적으로 관리합니다. 셋째, 비용 관리입니다. 각 쿼리를 가장 비용 효율적인 모델로 라우팅합니다. 넷째, 통합 기능입니다. 다양한 enterprise 시스템(CRM, ERP, 데이터베이스)과 원활하게 연결됩니다.
실제 구현 사례: AnythingLLM과 유사 플랫폼들
Ian Park이 주목한 AnythingLLM은 이러한 비전을 실현하는 대표적인 오픈소스 프로젝트입니다. 2026년 1월 현재, AnythingLLM은 다음과 같은 핵심 기능을 제공합니다.
완벽한 모델 중립성을 구현했습니다. 클라우드 모델(GPT-4, Gemini, Claude)과 로컬 모델(Qwen 3, Llama 4, Gemma)을 한 화면에서 자유자재로 스위칭할 수 있습니다. 사용자는 자신의 API 키를 사용하므로, 플랫폼 제공자는 inference 비용을 부담하지 않습니다. 이는 매우 매력적인 비즈니스 모델을 가능하게 합니다.
중앙화된 맥락 저장소를 제공합니다. 모든 대화와 지식을 workspace 단위로 중앙에서 저장하고 관리합니다. 모델이 바뀌어도 맥락은 그대로 유지됩니다. 각 모델마다 다른 맥락을 지정할 수도 있습니다. Workspace는 thread와 유사하지만, 문서의 컨테이너화를 추가로 제공합니다. Workspace들은 문서를 공유할 수 있지만, 서로 대화하지 않으므로 각 workspace의 맥락을 깨끗하게 유지할 수 있습니다.
RAG(Retrieval Augmented Generation)를 네이티브로 지원합니다. 초기 AnythingLLM은 context window가 4K에 불과할 때 만들어져 RAG-first 접근을 취했습니다. 현재는 최선의 양측 세계를 제공합니다. 가능하면 full document text를 사용하고, context window를 초과하면 자동으로 embedding을 제안합니다. 사용자는 chat window에서 context window 크기를 모니터링하고 관련 없는 파일을 제거하면서 대화 히스토리는 유지할 수 있습니다.
MCP 통합을 지원합니다. AnythingLLM MCP Server는 TypingMind, Claude Desktop 등 MCP 호환 클라이언트들과의 seamless 통합을 가능하게 합니다. 이를 통해 workspace 관리, document handling, chat communication, user 및 API key 관리, system configuration, agent operations를 모두 MCP를 통해 수행할 수 있습니다.
Agent 기능을 제공합니다. 2025년 후반부터 agent는 AI 애플리케이션의 표준이 되었습니다. AnythingLLM은 실시간으로 tool call과 response를 stream하고, agent가 웹에서 실시간으로 파일을 다운로드하고 ingest할 수 있으며, 사용자는 loading spinner를 보지 않고 진행 상황을 실시간으로 볼 수 있습니다.
Slack의 AI 전략: 기존 플레이어의 대응
Slackbot 2.0: AI Agent로의 진화
Salesforce는 2026년 1월 13일, 완전히 재구축된 Slackbot을 출시했습니다. 단순 notification 도구였던 것이 이제는 기업 데이터를 검색하고, 문서를 작성하며, 직원을 대신해 행동할 수 있는 본격적인 AI agent가 되었습니다. Business+와 Enterprise+ 고객에게 일반 제공되는 이 새로운 Slackbot은 Salesforce의 가장 공격적인 “agentic AI” 움직임을 대표합니다.
Slack CEO Denise Dresser는 핵심을 정확히 짚었습니다. “모든 기업이 묻고 있습니다. 우리의 agent들은 어디에 살 것인가? 어떻게 맥락을 얻을 것인가? 어떻게 유용하게 만들 것인가? Slack이 그 답입니다.” Slack을 Salesforce의 conversational interface로 만듦으로써, 모든 직원에게 AI와 agent를 위한 신뢰할 수 있고 통합된 home을 제공하고 있습니다.
새로운 Slackbot의 핵심 차별점은 맥락입니다. Slackbot은 사용자의 메시지와 파일에 기반하지만, 사용자가 볼 수 있는 것만 보며, 이미 설정된 권한을 항상 존중합니다. 이는 기존의 AI assistant들과 달리, setup이나 configuration이 필요 없습니다. 사용자가 Slack에서 계속 작업하면 Slackbot은 더 나아집니다. 왜냐하면 사용자가 거기서 하고 있는 작업에 기반하기 때문입니다.
Parker Harris(Salesforce CTO 겸 Slack CTO)는 이를 “super agent”라고 불렀습니다. “Slackbot은 단순한 copilot이나 AI assistant가 아닙니다. Salesforce가 제공하는 Agentic Enterprise의 front door입니다. 이는 회사의 데이터, workflow, Slack 대화에 기반한 AI를 업무 흐름에 바로 가져다 줍니다.”
Agentforce와 Third-Party Agent 통합
Salesforce의 전략은 Slackbot 하나로 끝나지 않습니다. Agentforce(이전 Einstein Copilot)를 통해 CRM 기반 agent를 Slack에 직접 가져옵니다. 사용자는 간단한 질문으로 특정 account 정보를 얻고, 그 정보에 대해 즉시 행동을 취할 수 있습니다. 예정된 2026년 초 출시를 통해, Agentforce는 Sales, IT, HR Service 등 다양한 분야에서 Slack 내에서 channel 생성, canvas 업데이트, DM 전송 등의 작업을 수행할 수 있게 됩니다.
더 중요한 것은 third-party agent 통합입니다. Slack은 Adobe, Anthropic, Cohere, Perplexity, Writer, You.com, IBM 등의 AI agent와 assistant를 Slack Marketplace를 통해 통합하고 있습니다. 사용자는 Agentforce를 찾는 것과 동일한 dedicated UI에서 이들 third-party agent들과 대화할 수 있습니다. 컨텐츠 초안 작성, 시장 조사, 파일 검색 및 요약 등을 도울 수 있습니다.
특히 주목할 만한 것은 Slack의 unstructured conversational data의 가치입니다. Slack은 모든 workspace가 institutional knowledge의 보물창고라고 강조합니다. AI가 유용하려면 데이터에 접근해야 하는데, 한 앱이나 시스템의 데이터만이 아니라 모든 시스템의 데이터, 특히 team conversation의 unstructured data에 접근해야 합니다. 이 contextual data가 고품질의 관련성 있는 AI output과 실시간으로 새로운 contextual clue에 적응하는 핵심입니다.
Slack은 user-generated content, natural language text, audio, video file 등 모든 회사의 미활용 unstructured data가 agent의 reasoning과 decision-making을 향상시켜 더 나은 관련성을 제공한다고 주장합니다. Agent를 Slack에 추가하면, 고객은 조직의 Slack instance의 public conversational data에 접근할 수 있는 권한을 부여할 수 있어, agent가 정확하고 강력해집니다.
중요한 것은 Slack이 고객 데이터로 LLM을 train하지 않는다는 점입니다. 대신, unstructured conversational data에 advanced RAG 기술을 사용하여, agent가 필요한 순간에 필요한 맥락을 얻어 인간 counterpart를 지원합니다.
Slack의 전략적 한계와 기회
Salesforce의 Slack AI 전략은 인상적이지만, Ian Park이 제안하는 비전과는 중요한 차이가 있습니다. Slack은 여전히 Salesforce 생태계에 묶여 있습니다. Agentforce는 Salesforce CRM과 깊게 통합되어 있으며, third-party integration은 있지만 근본적으로 Salesforce를 중심으로 설계되어 있습니다.
모델 선택의 자유가 제한적입니다. Slack의 AI 기능은 기본적으로 Salesforce가 선택한 LLM provider에 의존합니다. 사용자가 자유롭게 GPT-5, Claude 4, Gemini 3 중에서 선택하거나, 로컬 모델로 전환할 수 있는 것은 아닙니다. 가격 구조도 문제입니다. Business+ 및 Enterprise+ tier만 새로운 Slackbot에 접근할 수 있으며, 2025년 9월부터 Salesforce는 AI 기능을 Slack 가격에서 분리하여 추가 비용을 부과하기 시작했습니다.
데이터 이동성도 한계가 있습니다. 사용자가 Slack에 축적한 맥락과 대화 history를 다른 플랫폼으로 쉽게 이동하거나, 자신이 통제하는 형태로 export하기는 어렵습니다. 이는 vendor lock-in을 초래합니다.
그럼에도 불구하고, Slack의 움직임은 중요한 시사점을 제공합니다. 첫째, 대화 형 인터페이스가 AI agent의 자연스러운 home이라는 인식입니다. 둘째, unstructured conversational data가 AI에게 고유한 가치를 제공한다는 점입니다. 셋째, 맥락(context)이 AI의 효용을 극대화하는 핵심이라는 인식입니다. 이 모든 점은 Ian Park의 thesis를 뒷받침합니다.
온디바이스 AI의 부상: Edge로의 지능 이동
Small Language Models(SLM)의 혁명
Ian Park이 예측한 “클라우드에서 책상 위로”의 이동은 2026년 1월 현재 빠르게 현실화되고 있습니다. Small Language Models(SLM)의 급속한 발전이 이를 가능하게 하고 있습니다. Gartner는 2027년까지 조직들이 task-specific AI 모델을 범용 LLM보다 3배 더 많이 사용할 것으로 예측합니다.
SLM은 더 이상 “lite 버전”이 아닙니다. Llama 3.2(1B/3B), Phi-3/4, Qwen 2.5(0.5B-7B), Gemma 3/3n 등의 모델들은 특정 작업에서 훨씬 큰 모델들과 비슷한 성능을 보이면서도, 훨씬 적은 compute와 에너지를 요구합니다. 예를 들어, Gemma 3 1B는 단 529MB 크기로 mobile GPU에서 최대 2,585 tokens/second의 pre-fill 속도를 달성하여, 1 페이지의 content를 1초 이내에 처리할 수 있습니다.
2026년 초 현재 가장 주목받는 SLM 발전은 multimodal 지원입니다. Gemma 3n은 text, image, video, audio input을 모두 지원하는 첫 on-device multimodal SLM입니다. 이는 mobile-first architecture로 설계되어, 효율적인 vision encoder와 integrated audio encoder를 포함하고 있습니다. 140개 이상의 언어를 지원하여, 큰 모델로 점프하지 않고도 multilingual 지원이 가능합니다.
Phi-4 시리즈는 SambaY 같은 hybrid architecture를 도입했습니다. State Space Models(SSM)을 traditional attention mechanism과 결합하여, 10배 높은 throughput과 거의 즉각적인 response time을 달성했습니다. 이는 cloud 기반 LLM과 연관된 “typing” lag를 효과적으로 제거했습니다.
BitNet 1.58-bit 기술도 중요한 기술적 milestone입니다. 이 “ternary” 접근은 모델이 -1, 0, 1만을 weight로 사용하도록 하여, inference에 필요한 computational power를 대폭 줄입니다. 4-bit 및 8-bit quantization과 결합하면, 이들 모델은 이전 모델보다 75% 적은 공간을 차지하면서도 summarization, coding assistance, natural language understanding 같은 일반적인 작업에서 거의 동일한 정확도를 유지합니다.
온디바이스 RAG와 Function Calling
Google AI Edge는 2025년 5월, on-device RAG와 function calling을 도입하여 SLM의 capability를 크게 확장했습니다. On-device RAG는 fine-tuning 없이 애플리케이션 특정 데이터로 SLM을 augment할 수 있게 합니다. 1000 페이지의 정보나 1000장의 사진에서, RAG는 모델에 feed할 가장 관련성 높은 몇 개의 데이터만 찾아줍니다.
AI Edge RAG library는 지원되는 모든 small language model과 작동하며, RAG pipeline의 어떤 부분도 변경할 수 있는 flexibility를 제공합니다. Custom database, chunking method, retrieval function 등을 사용할 수 있습니다. 현재 Android에서 사용 가능하며, 더 많은 플랫폼 지원이 예정되어 있습니다. 이는 on-device generative AI application이 이제 specific하고 user-relevant한 정보에 기반할 수 있게 하여, 새로운 클래스의 intelligent feature를 가능하게 합니다.
Function calling은 사용자가 on-device SLM으로 앱을 제어할 수 있게 합니다. 새로운 function calling library를 통해, 모델이 structured output을 생성하고 외부 tool이나 API를 호출할 수 있습니다. 이는 SLM이 단순히 대답하는 것을 넘어 실제로 행동할 수 있게 만듭니다.
Hybrid Cloud-Edge Architecture의 등장
NVIDIA 연구팀의 논문은 중요한 통찰을 제공합니다. 현대 agentic AI architecture의 진정한 파워는 단일 monolithic LLM call이 아니라 multiple model과 prompt를 orchestrate하는 것에서 나옵니다. 이는 specialized component들이 협력하여 복잡한 workflow를 완료하는 network입니다. 이 진화하는 생태계에서, SLM은 점점 더 전략적인 역할을 맡을 수 있습니다.
예를 들어, enterprise data analysis와 report generation 시스템을 상상해보십시오. 복잡한 데이터 쿼리와 처리는 cloud에 있는 large model이 처리합니다. 고성능 cloud GPU cluster가 방대한 dataset을 scan하고 aggregate합니다. 그 결과는 structured JSON으로 반환됩니다. Orchestration layer가 이를 coordination합니다. 중앙 orchestration system이 task를 plan하고 cloud 및 edge component 간의 handoff를 manage합니다.
마지막으로, edge에서 실행되는 SLM이 이 structured JSON을 받습니다. 사용자의 workstation GPU에서 locally 실행되는 SLM이 machine-readable data를 자연스럽고 인간 친화적인 text로 변환합니다. 사용자가 선호하는 tone과 language로 personalized report를 생성합니다. 예를 들어, {"region": "EMEA", "growth": 12, "driver": "online sales"}를 “In the EMEA region, revenue increased by 12%, largely driven by online sales performance.”로 번역합니다.
이러한 hybrid cloud-edge collaboration은 latency와 cost를 줄일 뿐만 아니라, privacy와 responsiveness를 향상시켜, AI workload가 stack 전체에 어떻게 분산되는지를 재정의합니다. NVIDIA 팀의 논문은 단순히 smaller model을 주장하는 것이 아니라, “intelligence at scale”이 무엇을 의미하는지에 대한 재고를 요구합니다.
애플의 온디바이스 AI 전략
Ian Park이 강조한 엔비디아 vs 애플의 대비는 2026년에 더욱 명확해지고 있습니다. 신약 개발이나 우주 simulation 같은 거대 연산에는 여전히 엔비디아 H100이 수만 개 필요합니다. 하지만 “오늘 코스트코 문 열었나?” 같은 일상적인 질문에 전기를 엄청나게 먹는 GPU를 쓰는 것은 낭비입니다. 이런 일상 영역(Edge)에서는 애플 실리콘(M칩)이 탑재된 기기가 훨씬 효율적입니다.
애플의 2026년 Siri 개편에 대한 기대가 큽니다. 많은 analyst들은 이것이 오랜 기다림의 결과물로, on-device AI capability를 크게 향상시킬 것으로 예상합니다. 새로운 Siri가 인상적이라면, on-device AI capability의 업계 전체를 앞으로 밀어낼 수 있습니다. 이는 Qualcomm에게 큰 호재가 될 것입니다. Qualcomm은 high-end mobile chip을 만들며, 더 빠른 mobile processor가 on-device AI에 필수적이므로, high-end device 판매를 촉진할 수 있습니다.
새로운 on-device AI capability는 소비자들이 phone과 다른 device를 upgrade하도록 유도할 수 있어, 강력한 판매 성장을 가져올 수 있습니다. 애플은 추가로 App Store의 더 많은 AI-capable app으로부터 혜택을 볼 수 있습니다. 이는 iPhone maker의 주요 service revenue source입니다.
비즈니스 모델: 맥락 관리 플랫폼의 경제학
아름다운 마진 구조
Ian Park이 강조한 바와 같이, context management platform의 비즈니스 모델은 매우 매력적입니다. 비용 측면에서, 사용자가 AI를 사용할 때 자신의 API Key나 hardware를 사용합니다. 서비스 제공자는 거의 리소스 및 비용이 들지 않습니다. Inference cost를 사용자가 부담하므로, 전통적인 AI SaaS의 가장 큰 비용 요소가 제거됩니다.
가격 측면에서, 월 $20-$99의 구독료를 책정할 수 있습니다. Slack과 Discord의 user-based 과금제와 Notion/Obsidian의 feature·용량별 model을 결합할 수 있습니다. Tier는 다음과 같이 구성될 수 있습니다:
Basic tier($20/월)는 무제한 맥락 저장, 최대 3개 모델 연결, 기기간 동기화, 기본 workspace 관리를 제공합니다.
Pro tier($49/월)는 무제한 모델 연결, 고급 RAG 기능, team workspace(최대 10명), priority support, advanced analytics를 추가합니다.
Enterprise tier($99/월 per user)는 dedicated AWS instance, on-premise 배포 옵션, SSO, advanced security 및 compliance, custom integration, dedicated account manager를 제공합니다.
이 pricing model의 아름다움은 scalability에 있습니다. 사용자가 많아져도 inference cost는 증가하지 않습니다. 주요 비용은 storage(context 저장), infrastructure(server, database), development 및 support입니다. Storage cost는 매우 저렴하고(text data), infrastructure는 cloud service로 효율적으로 scale할 수 있습니다.
Gross margin은 70-80%에 이를 수 있습니다. 전통적인 AI SaaS가 LLM inference cost로 30-50%의 margin을 갖는 것과 대조적입니다. 이는 rapid growth를 가능하게 하면서도 profitability를 유지할 수 있게 합니다.
AI Orchestration 시장의 기회
AI orchestration 시장의 114.7억 달러(2025년) 규모는 빠르게 성장하고 있습니다. 23% CAGR로, 2030년까지 300억 달러를 넘어설 것으로 예상됩니다. 이 시장은 크게 두 세그먼트로 나뉩니다:
Enterprise orchestration(B2B)은 LangChain, LangGraph, AutoGen, CrewAI 같은 developer framework와 Prompts.ai, Orq, Kuse 같은 enterprise platform을 포함합니다. 이들은 복잡한 multi-agent system, production-grade workflow, enterprise integration에 초점을 맞춥니다. 가격은 typically usage-based이며, 월 수백~수천 달러입니다.
Consumer orchestration(B2C)은 아직 초기 단계입니다. AnythingLLM, Lobe Chat 같은 오픈소스 프로젝트들이 존재하지만, 진정한 “consumer-grade” product는 아직 나타나지 않았습니다. 이것이 Ian Park이 주목한 기회입니다. Consumer는 복잡한 configuration을 원하지 않습니다. “It just works” 경험을 원합니다. 가격은 월 $20-$100 범위로, Notion, Spotify, Netflix와 비슷한 수준이어야 합니다.
B2C 시장의 잠재력은 엄청납니다. AI를 적극적으로 사용하는 knowledge worker만 1억 명 이상입니다. 이 중 10%만 capture해도 1,000만 명입니다. 월 $30 구독료로, 연간 ARR 36억 달러입니다. 실제로 capture rate는 훨씬 높을 수 있습니다. AI가 필수 도구가 되면서, “AI를 사용하지 않는” knowledge worker는 경쟁력을 잃게 됩니다.
경쟁 우위와 Moat
Context management platform의 핵심 경쟁 우위는 다음과 같습니다:
Network effect가 작동합니다. 사용자가 플랫폼에 쌓은 맥락이 많을수록, switching cost가 증가합니다. 이는 강력한 lock-in effect를 만듭니다. Team workspace에서는 더욱 강력합니다. 팀이 공유하는 맥락이 많을수록, 다른 플랫폼으로 이동하기 어렵습니다.
Data moat도 형성됩니다. 시간이 지나면서 축적된 user interaction data는 AI를 더 smart하게 만듭니다. 어떤 맥락이 어떤 작업에 유용한지 학습합니다. 어떤 모델이 어떤 쿼리에 best인지 학습합니다. 이는 새로운 진입자가 쉽게 복제할 수 없는 competitive advantage를 만듭니다.
Integration moat도 중요합니다. 다양한 LLM provider와의 native integration, 다양한 productivity tool(Notion, Google Drive, Slack)과의 연결, enterprise system(CRM, ERP)과의 통합 등은 구축하는 데 시간과 노력이 필요하며, 강력한 differentiation을 제공합니다.
Platform ecosystem도 형성될 수 있습니다. Third-party developer가 plugin과 extension을 만들 수 있게 하면, platform의 가치가 증폭됩니다. 이는 Slack이나 Notion이 사용한 전략으로, 매우 효과적입니다.
전략적 시사점과 실행 전략
Target Market과 Go-to-Market
Ian Park이 제안한 팀 구성은 매우 타당합니다. 핵심은 engineering excellence가 아니라 user experience입니다. Gemini 4 pro를 만드는 것이 아닙니다. 파편화된 모델들을 하나로 묶어주는 killer UX/UI, 사용자의 의도를 파악하는 인터페이스 디자인이 핵심입니다.
현재 AI scene에서 엔지니어보다 “감도 높은 디자이너”가 창업해서 성공할 확률이 더 높은 이유는 명확합니다. 코딩 생산성이 압도적으로 늘었기 때문에, 뛰어난 개발자와 구독료만 있다면 결국 승부는 아직 인간의 감각이 중요한 user experience와 marketing에 걸려 있습니다.
이상적인 founding team은 다음과 같이 구성될 수 있습니다. Product designer/UX expert가 CEO로, beautiful, intuitive interface를 만들 수 있는 사람입니다. AI/ML engineer가 CTO로, orchestration layer와 context management system을 구축합니다. Full-stack engineer 1-2명이 frontend와 backend를 개발합니다. Growth marketer가 user acquisition과 retention을 담당합니다.
초기 target market은 다음과 같이 설정할 수 있습니다:
Early adopter segment는 power AI user로, 이미 여러 AI tool을 사용하며 pain point를 느끼는 사람들입니다. Tech-savvy knowledge worker, developer, content creator, researcher 등입니다. 이들은 premium pricing($49-99/month)을 기꺼이 지불할 의향이 있으며, early feedback을 제공하고 advocate가 될 수 있습니다.
Expansion segment는 mainstream knowledge worker로, AI를 사용하기 시작했지만 아직 심각한 pain point를 느끼지 못한 사람들입니다. 제품이 maturity에 도달하고 word-of-mouth가 작동하기 시작하면 이 segment로 확장합니다. 가격은 더 낮은 tier($20-30/month)를 타겟팅합니다.
Enterprise segment는 team/organization으로, context management를 팀 전체의 문제로 인식한 조직입니다. Pilot program으로 시작하여, 성공적이면 organization-wide로 확장합니다. Enterprise sales motion이 필요하지만, ARR per customer가 매우 높습니다(예: 100명 조직 = $120K ARR).
Go-to-market 전략은 Product-Led Growth(PLG)가 적합합니다. Freemium model로 basic feature는 무료로 제공하고, advanced feature는 paid tier에서 제공합니다. Viral loop을 설계합니다. 사용자가 workspace를 공유하면 자연스럽게 다른 사용자를 invite하게 됩니다. Content marketing으로 AI productivity, context management, multi-model strategy 등에 대한 high-quality content를 생산합니다. Community building으로 power user community를 만들어 feedback을 받고 advocate를 양성합니다.
기술 스택과 구현 전략
실제 구현을 위한 기술 스택은 다음과 같이 구성될 수 있습니다:
Frontend는 React + TypeScript로, modern, responsive UI를 위해 사용합니다. Tailwind CSS로 빠른 UI development를 지원하며, Electron으로 desktop app을 만듭니다(optional, mobile도 고려).
Backend는 Node.js + Express 또는 Python + FastAPI로 구성합니다. PostgreSQL을 main database로 사용하고, Redis를 caching과 session management에 활용합니다. Vector database(Pinecone, Weaviate, Qdrant)로 embedding과 RAG를 지원합니다.
AI/ML infrastructure는 LangChain 또는 LlamaIndex를 orchestration framework로 사용합니다. OpenAI, Anthropic, Google AI SDK를 통합하고, Ollama 또는 llama.cpp를 로컬 모델 지원에 활용합니다. Sentence Transformers를 embedding에 사용합니다.
Infrastructure는 AWS, GCP, Azure 중 선택하여 cloud platform을 구축하고, Docker + Kubernetes로 containerization과 orchestration을 처리하며, Cloudflare를 CDN과 DDoS protection에 사용합니다.
구현 roadmap은 3단계로 나뉩니다:
Phase 1(MVP, 3-4개월)은 core context management로, workspace creation/management, document upload 및 embedding, basic multi-model support(GPT, Claude, Gemini), simple chat interface, user authentication을 구현합니다.
Phase 2(Feature expansion, 3-4개월)는 로컬 model 지원(Ollama integration), advanced RAG 기능, Team workspace 및 collaboration, Browser extension, Mobile app(iOS/Android)을 추가합니다.
Phase 3(Scale and enterprise, 4-6개월)는 Enterprise feature(SSO, advanced security), API for third-party integration, Advanced analytics 및 insights, On-premise deployment option, AI agent 기능을 완성합니다.
경쟁 분석과 차별화
현재 시장의 주요 플레이어들과 비교하면 다음과 같습니다:
ChatGPT/Claude/Gemini(직접 사용)의 장점은 최고의 모델 성능이고, 단점은 vendor lock-in, 맥락이 각 플랫폼에 갇힘, 비싼 가격($20/month each)입니다. 우리의 차별점은 모든 모델을 한 곳에서, 맥락을 centralize하여 관리, user가 API key 사용으로 더 저렴할 수 있습니다.
Slack + AI agent의 장점은 기존 workflow에 통합되고, 팀 collaboration에 최적화되어 있습니다. 단점은 Salesforce 생태계에 묶임, enterprise focus로 개인 user에게는 과함, 비싼 가격입니다. 우리의 차별점은 개인 user에 최적화, 모델 중립적, 더 affordable한 가격입니다.
AnythingLLM(오픈소스)의 장점은 완전한 커스터마이즈 가능, 오픈소스로 무료입니다. 단점은 기술적 setup 필요, UI/UX가 technical user에 맞춤, consumer-ready가 아닙니다. 우리의 차별점은 consumer-grade UX, no setup required, beautiful design입니다.
Notion AI, Google Workspace AI의 장점은 기존 productivity tool에 통합되어 있습니다. 단점은 특정 생태계에 묶임, AI가 부수적 기능, 맥락 관리가 primary focus가 아닙니다. 우리의 차별점은 AI와 맥락 관리가 core, 모든 productivity tool과 integrate, 더 powerful AI 기능입니다.
우리의 unique value proposition은 다음과 같이 정리됩니다. “All your AI models, all your context, in one beautiful place”입니다. Model agnostic으로 어떤 AI 모델도 사용 가능합니다. Context-first로 맥락을 중앙에서 관리하고 모든 모델이 접근합니다. Privacy-focused로 사용자가 데이터를 통제하며, 로컬 모델 지원으로 민감한 정보를 보호합니다. Beautiful UX로 technical setup 없이 “it just works”를 제공합니다.
장기 비전과 시장 기회
Platform으로의 진화
단기적으로(1-2년)는 개인 user를 위한 context management tool을 제공합니다. 중기적으로(2-3년)는 팀 collaboration platform으로 진화하고, third-party integration을 확장하며, AI agent marketplace를 만듭니다. 장기적으로(3-5년)는 전체 enterprise AI operating system이 되고, 모든 business process가 AI와 human이 협업하는 layer가 됩니다.
Ian Park이 말한 것처럼, “진정한 B2C의 승자는 그 위에서 사용자의 맥락을 정리해주고, 모든 모델을 자유롭게 오가게 해주는 중립적인 ‘인터페이스’ 회사가 될 것입니다.” 애플이 강력한 이유도 바로 이 ‘온디바이스’ 환경과 ‘최고의 소비자 경험’을 쥐고 있기 때문입니다.
AI 시대의 가치 창출은 모델 그 자체가 아니라, 모델을 사용자의 맥락에 맞게 적용하는 layer에서 일어납니다. OpenAI, Anthropic, Google은 계속해서 더 나은 모델을 만들 것입니다. 그것이 그들의 역할입니다. 하지만 그 모델들을 실제로 사용자의 삶에 유용하게 만드는 것은 다른 층에서 일어납니다. 바로 context management와 orchestration layer입니다.
시장 타이밍과 Macro Trend
2026년 현재, 여러 macro trend가 이 vision을 지지합니다:
AI의 mainstream adoption이 가속화되고 있습니다. ChatGPT 출시 후 2년이 지나, AI는 더 이상 early adopter만의 것이 아닙니다. Knowledge worker의 70% 이상이 정기적으로 AI tool을 사용합니다. 하지만 대부분은 단일 tool에 갇혀 있거나, 여러 tool을 비효율적으로 사용하고 있습니다.
Model commoditization이 진행되고 있습니다. GPT-5, Gemini 3, Claude 4의 성능 차이가 점점 줄어들고 있습니다. DeepSeek 같은 새로운 진입자들이 비용 효율적인 모델을 만들고 있습니다. 이는 model 자체보다 어떻게 사용하는지가 더 중요해진다는 의미입니다.
Privacy 및 data sovereignty 우려가 증가하고 있습니다. GDPR, EU AI Act 등 규제가 강화되고 있습니다. 사용자들이 자신의 데이터를 더 통제하고 싶어합니다. 로컬 모델의 중요성이 증가하고 있습니다.
Edge computing과 on-device AI가 현실화되고 있습니다. SLM의 급속한 발전으로 로컬에서 실행 가능한 powerful model이 등장하고 있습니다. Apple Silicon, Qualcomm Snapdragon 등 mobile chip의 AI 성능이 대폭 향상되고 있습니다.
Agentic AI가 표준이 되고 있습니다. AI가 단순히 답변하는 것을 넘어 행동하는 시대가 왔습니다. Multi-step task를 autonomous하게 수행하는 agent가 일반화되고 있습니다. 이는 더욱 sophisticated한 context management를 요구합니다.
Exit Strategy와 Outcome
성공적인 context management platform은 여러 exit option을 가질 수 있습니다:
Strategic acquisition이 가능합니다. Microsoft, Google, Apple 같은 tech giant들이 자신의 AI ecosystem을 강화하기 위해 인수할 수 있습니다. Salesforce가 Slack을 인수한 것처럼, context management platform은 기존 productivity suite의 핵심 piece가 될 수 있습니다. Valuation은 ARR의 10-20배가 일반적이며, strategic premium으로 더 높을 수 있습니다.
IPO도 가능합니다. Sufficient scale에 도달하면(예: $100M+ ARR) public market으로 갈 수 있습니다. 높은 growth rate와 margin은 매력적인 public company profile을 만듭니다. Comparable은 Notion($10B valuation), Figma($20B Adobe offer), Canva($40B valuation) 등입니다.
Standalone unicorn도 가능합니다. Strong product-market fit과 defensible moat로 오랜 기간 독립적으로 운영할 수 있습니다. Slack이 Salesforce에 인수되기 전까지 독립적으로 성장한 것처럼 가능합니다.
한국 시장에 대한 특별 고려사항
한국의 AI 채택 현황
한국은 AI 기술 채택에서 매우 빠른 속도를 보이고 있습니다. 높은 스마트폰 보급률(95% 이상), 빠른 인터넷 속도(세계 1위), 기술에 대한 높은 수용성 등이 특징입니다. 네이버, 카카오 등 local tech giant들이 적극적으로 AI에 투자하고 있으며, 정부도 “AI 국가전략”을 추진 중입니다.
하지만 한국 시장의 특수성도 고려해야 합니다. 한국어 지원이 필수적입니다. Global model들도 한국어를 지원하지만, 품질이 영어보다 떨어지는 경우가 많습니다. Local model(예: HyperCLOVA X, EXAONE)에 대한 수요가 있습니다. Privacy와 data sovereignty에 대한 우려가 크며, 특히 민감한 정보는 국내에 저장하고 싶어하는 경향이 있습니다.
기업 시장의 특성도 있습니다. 대기업과 중소기업 간 격차가 크며, 대기업은 자체 AI solution을 개발하는 경향이 있습니다. 중소기업은 affordable하고 사용하기 쉬운 solution을 찾고 있습니다. 재택근무와 디지털 협업이 증가하면서, AI 기반 productivity tool에 대한 수요가 높아지고 있습니다.
한국 시장 진입 전략
한국 시장을 위한 맞춤 전략은 다음과 같습니다:
한국어 native support가 필수적입니다. UI/UX를 완전히 한국어로 localize하고, HyperCLOVA X, EXAONE 등 local model을 integrate합니다. 한국어 document에 대한 RAG 성능을 optimize합니다.
Local partnership을 활용합니다. 네이버, 카카오 같은 platform과 partnership을 맺어 distribution을 확보합니다. 한국 VC(예: Softbank Ventures, Capstone Partners)로부터 투자를 받아 local credibility를 확보합니다. 한국 대학(KAIST, 서울대)과 research collaboration을 진행합니다.
Data sovereignty를 강조합니다. 한국 data center(예: AWS Seoul, Azure Korea)에 data를 저장하는 옵션을 제공합니다. On-premise deployment를 enterprise customer에게 제공합니다. “당신의 데이터는 당신의 것입니다”라는 메시지를 강조합니다.
Competitive pricing을 설정합니다. 한국 시장의 price sensitivity를 고려하여 global pricing보다 약간 낮은 tier를 제공합니다. 학생과 startup을 위한 할인을 제공합니다. 연간 구독에 대한 aggressive discount를 제공합니다.
한국 AI 생태계와의 시너지
한국의 AI 생태계와 collaboration할 수 있는 영역은 다음과 같습니다:
AI 스타트업 지원 프로그램에 참여합니다. K-Startup, TIPS 같은 정부 프로그램을 활용하고, accelerator(예: SparkLabs, FuturePlay)에 참여하여 mentorship과 funding을 받습니다.
기업 AI transformation을 돕습니다. 한국 기업들의 digital transformation과 AI 도입을 지원합니다. Consulting service를 제공하여 기업들이 효과적으로 AI를 활용하도록 돕습니다.
교육 및 training을 제공합니다. 대학과 partnership하여 AI literacy program을 운영합니다. Online course와 workshop을 통해 사용자들이 효과적으로 AI를 사용하는 방법을 교육합니다.
결론: 맥락이 지배하는 AI 시대
Ian Park의 통찰은 명확합니다. AI 시대의 진정한 가치는 모델 자체가 아니라, 모델을 사용자의 맥락에 맞게 orchestrate하는 능력에 있습니다. 우리는 지금 “AI 유목민”으로 여러 도구를 전전하며 매번 맥락을 다시 설명해야 하는 비효율을 겪고 있습니다. 이는 단순한 불편함이 아니라, AI의 진정한 잠재력을 가로막는 근본적인 장벽입니다.
2026년 1월 현재, 여러 트렌드가 이 문제의 해결을 가능하게 하고 있습니다. MCP 같은 표준의 등장으로 다양한 모델과 도구를 연결하는 것이 훨씬 쉬워졌습니다. SLM의 급속한 발전으로 강력한 AI를 local device에서 실행할 수 있게 되었습니다. AI orchestration 시장의 폭발적 성장으로 infrastructure와 best practice가 빠르게 성숙하고 있습니다. Slack의 AI agent 통합 같은 대형 플레이어들의 움직임은 시장의 방향을 확인시켜주고 있습니다.
하지만 기회는 여전히 열려 있습니다. 기존 플레이어들은 자신의 생태계에 갇혀 있거나, technical user만을 타겟팅하거나, 진정한 consumer experience를 제공하지 못하고 있습니다. 모델 중립적이고, privacy를 존중하며, beautiful UX를 제공하는 context management platform은 아직 존재하지 않습니다. 이것이 바로 Ian Park이 포착한 금광입니다.
“맥락을 지배하는 자가 AI를 지배합니다.” 이는 단순한 슬로건이 아니라, AI 시대의 근본적인 진실입니다. 모델은 commodity화될 것입니다. 하지만 맥락은 deeply personal하고, 축적하는 데 시간이 걸리며, powerful network effect를 만듭니다. Context management platform을 장악하는 자가 AI 시대의 Slack이 될 것입니다.
Ian Park은 마지막으로 말합니다. “여러분은 어떤 준비를 하고 계신가요? 모델을 공부하는 것도 좋지만, 그 모델들을 어떻게 엮어서 사용자에게 떠먹여 주고, 어떻게 돈을 벌 수 있을지를 고민하는 디자이너와 기획자들에게 더 큰 기회가 오고 있습니다.”
이것이 핵심입니다. AI 시대의 승자는 가장 똑똑한 모델을 만드는 사람이 아니라, 모델을 가장 유용하게 만드는 사람이 될 것입니다. 그리고 그 유용함의 핵심은 바로 맥락입니다. 맥락을 이해하고, 관리하고, 활용하는 능력이 차세대 B2C SaaS의 결정적 경쟁 우위가 될 것입니다.
지금이 바로 그 기회를 잡을 최적의 시점입니다. AI가 충분히 강력해졌지만, 아직 진정한 consumer experience를 제공하는 통합 플랫폼은 없습니다. 기술이 성숙했지만, 시장은 아직 fragmented합니다. 이 gap을 메우는 자가 next unicorn이 될 것입니다.
작성 일자: 2026-01-22
참고 자료
주요 출처
Ian Park, “인공지능 시대의 Slack: 금광 ‘맥락’을 독점하는 진짜 돈 버는 B2C 플랫폼”, 주간 실리콘밸리, 2026년 1월 21일
AIMultiple, “Top 10+ Agentic Orchestration Frameworks & Tools in 2026”, 2026
The New Stack, “Choosing Your AI Orchestration Stack for 2026”, 2025년 11월
Salesforce, “Salesforce Announces the General Availability of Slackbot – Your Personal Agent for Work”, 2026년 1월
Google Developers Blog, “On-device small language models with multimodality, RAG, and Function Calling”, 2025년 5월
LogRocket, “Small language models: Why the future of AI agents might be tiny”, 2025년 10월
Dell, “The Power of Small: Edge AI Predictions for 2026”, 2026년 1월
PYMNTS, “The Battle for the AI Orchestration Layer Heats Up”, 2026년 1월
DataCamp, “Top 15 Small Language Models for 2026”, 2024년 11월
AnythingLLM Documentation, 2026
시장 조사 및 통계
- AI orchestration 시장 규모: $11.47B (2025), 23% CAGR
- AI 프로젝트 실패율: 70-85%
- Enterprise AI 도입에서 ROI 정의 어려움: 66%
- Gartner 예측: 2027년까지 task-specific AI 모델 사용이 범용 LLM보다 3배 증가
- 2026년까지 enterprise application의 40%가 task-specific AI agent 통합 예상
- Knowledge worker의 47%가 업무에 필요한 정보 찾기에 어려움
- 직원들이 저가치 작업에 시간의 약 1/3 소비
기술 발전 Timeline
- 2024년 말: Llama 3.2, Phi-3 출시로 SLM 시대 본격화
- 2025년 중반: MCP v1.0 출시, Google AI Edge RAG 및 Function Calling 지원
- 2025년 10월: Slack Dreamforce에서 AI agent 전략 발표
- 2025년 11월: MCP v1.3 출시, context engineering 혁신
- 2025년 말: Claude Opus 4.5, GPT-5.2, Gemini 3 Pro 출시
- 2026년 1월: Slackbot 2.0 일반 제공 개시
- 2026년 예상: Apple Siri 대대적 개편, Llama 4 Scout (screen awareness)