AI 추론이 둘로 쪼개진다, GPU 독주 시대의 균열 시작 🔀

"추론(inference)"이라는 하나의 단어 아래, 사실 전혀 다른 두 가지 작업이 묶여 있었습니다.

Stratechery의 Ben Thompson이 Cerebras의 IPO를 분석하면서 꺼낸 이야기인데요. 챗봇 응답처럼 사람이 기다리는 "답변 추론"과, 에이전트가 밤새 혼자 작업을 돌리는 "에이전트 추론"은 요구하는 하드웨어 자체가 다르다는 겁니다. 이 구분이 왜 중요한지, GPU 중심 구조에 어떤 균열이 생기는지 살펴봅니다.

Today's AI Spark⚡:

• AI 추론이 Answer와 Agentic으로 나뉘다 — 하드웨어 판도가 바뀐다

• AI가 잘 못하는 일과 잘 하는 일, 2×2 매트릭스로 구분하는 법

• 에이전트 하네스가 기술 부채인 이유 — 모델은 구조를 먹는다

• AI에게 전략 조언을 물었더니, 트렌드만 돌려받았다

• 토큰맥싱 vs 컨텍스트맥싱, Uber가 4개월 만에 AI 예산을 소진하고 배운 것

AI 추론이 둘로 나뉜다 — 답변용과 에이전트용은 전혀 다른 하드웨어를 원한다

Cerebras의 IPO 공모가가 며칠 사이 115달러에서 160달러로 뛰어올랐습니다. Ben Thompson은 이 열풍이 더 깊은 구조적 변화를 가리킨다고 봅니다. 챗봇처럼 사람이 기다리는 상황에서는 토큰 생성 속도가 사용자 경험을 좌우하고, Cerebras나 Groq 같은 고속 칩이 유리합니다. 반면 Claude Code처럼 에이전트가 밤새 혼자 작업을 돌리는 상황에서는 속도보다 대규모 메모리가 중요하고, 비싼 HBM 대신 느리고 저렴한 DRAM으로도 충분합니다.

Thompson은 에이전트 추론 시장이 압도적으로 커질 것이라 봅니다. 훈련과 답변 추론은 인간 수에 따라 수요가 제한되지만, 에이전트 추론은 투입 가능한 컴퓨팅 자원에 따라 규모가 결정되기 때문입니다. "더 빠른 칩"보다 "충분히 좋은 칩을 더 많이 쌓는 것"이 답이 되는 세계가 열리고 있습니다.

자세히 읽기

AI에게 "뉴스레터 써줘"라고 하면 실패하는 구조적 이유

개발자 Jason Yingling이 AI 업무 활용 경험에서 발견한 패턴이 흥미롭니다. AI에게 "뉴스레터를 써줘"라고 시키면 항상 실패했지만, "30개 링크를 5개 주제로 분류해줘"라고 하면 잘 작동했다는 건데요. 그 차이를 반복성(자주 하는가)과 출력 구조(결과물 형태가 정해져 있는가)라는 두 축의 2×2 매트릭스로 정리했습니다.

반복성이 높고 출력 구조가 정해진 작업(우상단)이 AI에게 먼저 맡길 곳이고, 반복성도 낮고 출력도 열려 있는 작업(좌하단)이 "AI가 안 통한다"는 경험의 대부분이 발생하는 곳입니다. 핵심은 AI를 더 많이 쓰라는 게 아니라, 판단 작업 주변의 반복적 스캐폴딩을 AI에게 넘겨서 진짜 판단에 더 많은 시간을 확보하라는 이야기입니다.

자세히 읽기

에이전트 하네스, 열심히 만들수록 더 많이 버려야 한다

AI 엔지니어 Hanchung Lee가 에이전트 시스템의 숨겨진 기술 부채를 다뤘습니다. 시스템 프롬프트, 툴 래퍼, 플래너-실행 루프, 재시도 정책 같은 오케스트레이션 레이어 전체를 가리키는 "하네스"는 지금 모델 수준에 맞춰 만든 일시적 아티팩트일 뿐이라는 겁니다. 2023년에 만든 복잡한 RAG 파이프라인이 컨텍스트 창이 커지면서 불필요해진 것처럼, 모델이 강해질 때마다 하네스의 상당 부분이 모델 안으로 흡수됩니다.

저자의 결론은 "thin harness, fat skills" — 하네스는 얇게 유지하고, 도메인 전문성은 텍스트 편집만으로 반영되는 스킬과 프롬프트에 몰아넣으라는 것입니다. 자가 진단법도 제시합니다. "다음 분기에 모델이 더 똑똑해지면 이 부분은 어떻게 되는가?" 한 시간이면 옵션이고, 일주일이면 부채입니다.

자세히 읽기

LLM에게 전략을 물으면, 7개 모델 모두 같은 방향을 가리켰다

세 명의 경영학 교수가 ChatGPT, Claude, Gemini 등 7개 LLM에 전략적 딜레마를 수천 번 물어봤습니다. 차별화 vs 원가 리더십, 자동화 vs 인간 보조 같은 선택지에서 거의 모든 모델이 거의 모든 경우에 같은 쪽을 골랐습니다. 차별화, 인간 보조, 장기 사고, 협력, 분권 — 인터넷 담론에서 긍정적 뉘앙스를 가진 방향이죠. 연구팀은 이 편향을 '트렌드슬롭(trendslop)'이라 이름 붙였습니다.

ChatGPT-5를 대상으로 15,000건 이상의 추가 실험을 했지만, 프롬프트를 아무리 정교하게 바꿔도 핵심 편향은 2% 미만으로만 줄었습니다. LLM은 데이터를 갖고 있는 게 아니라, 세계관을 갖고 있다는 이야기입니다.

자세히 읽기

Uber, AI 코딩 도구가 너무 잘 작동해서 4개월 만에 연간 예산이 바닥났다

Uber는 2025년 12월 엔지니어 5,000명에게 Claude Code를 도입했고, 4개월 만에 연간 AI 예산이 소진됐습니다. 엔지니어 95%가 매달 AI 도구를 쓰고, 커밋 코드의 약 70%가 AI 생성이니 실패 사례가 아닙니다. 너무 잘 작동해서 생긴 문제죠. 내부 리더보드로 팀별 사용량을 순위까지 매기면서 소비가 더 가속됐습니다.

이 현상에 '토큰맥싱(tokenmaxxing)'이라는 이름이 붙었고, 대안으로 나온 개념이 '컨텍스트맥싱'입니다. 토큰을 얼마나 쓰느냐가 아니라, 에이전트가 작업을 시작하기 전에 얼마나 적절한 컨텍스트를 제공하느냐를 최대화하는 접근입니다. 토큰 가격이 내려가도 에이전트 사용량은 더 빠르게 늘어날 가능성이 높기에, 지금 비용 구조를 점검해야 할 시점입니다.

자세히 읽기

이것도 놓치지 마세요 ✨

이번 뉴스레터에서 다루지 못한 글들입니다. 관심 가는 제목이 있다면 링크를 눌러 본문을 확인해 보세요!

🔧 AI 도구 & 플랫폼

• Claude, 소상공인 업무 도구 안으로 들어가다 — QuickBooks·PayPal 직접 연동

• Claude Cowork, 법률 AI 시장에 플러그인 20개로 뛰어들다

• Gemini가 Android에서 직접 행동한다, 앱 자동화부터 위젯 생성까지

• OpenAI DeployCo, AI 모델 상품화 시대에 꺼낸 팔란티어 전략

🛡️ AI 보안 & 프라이버시

• 저장소 클론 한 번으로 GitHub 토큰을 빼가는 악성 Claude Code 스킬

• AI가 스스로 해킹하고 복제한다, 측정조차 불가능해진 보안 위협

• Meta AI 인코그니토 채팅, 서버에 기록 안 남는 AI 대화의 기술 원리

💼 AI 활용 & 생산성

• AI 에이전트도 온보딩이 필요하다, 에이전트 시대의 5가지 코드 레이어

• 토큰맥싱, 아마존 직원들이 AI 리더보드 점수를 조작하는 이유

• 앱에 AI를 붙이기 전에 물어야 할 것, "꼭 서버로 보내야 하나요?"

🌐 AI 생태계 & 트렌드

• Anthropic, 처음으로 기업 고객 수에서 OpenAI 추월 — Ramp 데이터로 본 1년의 변화

• Thinking Machines 인터랙션 모델, AI와 대화하는 방식을 바꾸는 새로운 접근

• Google AI Mode가 URL을 읽는 방법, 캐시와 색인이 전부입니다

• AI 검색에서 내 콘텐츠가 인용 안 되는 진짜 이유, 499 에러와 적격성

• 해커도 질렸다, AI 슬롭이 커뮤니티를 갉아먹는 방식

• GM, IT 직원 600명 해고하고 AI 전문가로 교체한 이유

AI Sparkup에서 매일 업데이트되는 최신 AI 뉴스와 인사이트를 놓치지 마세요. aisparkup.com에서 더 많은 정보를 확인하실 수 있습니다.