• AI Sparkup
  • Posts
  • 구글 AI 지배에 맞서는 Cloudflare의 반격 🚀

구글 AI 지배에 맞서는 Cloudflare의 반격 🚀

PLUS: 위키피디아 트래픽 8% 급감의 진짜 의미, 뉴욕주의 AI 임대료 규제, BERT의 숨겨진 정체, AGI 10년설의 근거

구글의 AI 요약 기능이 웹사이트 트래픽을 절반으로 날려버리자, Cloudflare가 전 세계 웹의 20%를 무기로 반격에 나섰습니다. 380만 도메인의 robots.txt를 일괄 업데이트해 검색과 AI 요약을 분리하는 새로운 표준을 제시했죠.

30년간 유지되던 "콘텐츠 제공 → 트래픽 유입 → 수익화" 순환이 무너지면서, 정보 생태계 전체가 재편되고 있습니다. 한편 7년간 사용해온 BERT가 사실 디퓨전 모델이었다는 발견과, OpenAI 핵심 인물이 밝힌 AGI의 현실적 타임라인까지. 이번 주는 AI 산업의 근본적 전환점들이 집중적으로 드러났습니다.

Today's AI Spark⚡:
  • 웹 생태계를 지키기 위한 Cloudflare의 대반격

  • 위키피디아가 무너지면 AI도 무너진다

  • 뉴욕주가 연 AI 규제의 새로운 장

  • BERT 논문이 숨긴 7년간의 비밀

  • Karpathy가 말하는 AGI까지 남은 진짜 시간

구글 AI가 웹을 삼키자, Cloudflare가 380만 사이트로 맞섰다

Cloudflare Content Signals Policy

Cloudflare가 법적 라이선스처럼 설계한 Content Signals Policy (출처: Cloudflare)

구글 AI Overviews가 표시되는 검색 결과에서 사용자 클릭률이 절반으로 떨어졌습니다. Cloudflare는 380만 도메인의 robots.txt를 일괄 업데이트하며 반격에 나섰죠.

웹 트래픽 절반을 삼킨 AI 요약:

  • 클릭률 15%→8% 급락: Pew Research 조사 결과 AI Overviews 노출 시 사용자가 원본 사이트를 방문하지 않음. Penske Media는 제휴 링크 수익이 1년 새 1/3 감소해 구글 제소

  • Cloudflare의 법적 압박: 전 세계 웹 20%를 무기로 search(검색), ai-input(AI 요약), ai-train(학습) 용도 분리. 법적 라이선스 형태로 설계해 구글이 무시하면 소송 리스크 발생

  • 30년 순환 고리의 붕괴: "콘텐츠 → 트래픽 → 수익" 구조가 무너지며 웹 생태계 전체 재편. 구글 내부에서도 "콘텐츠는 우리 권리" vs "공정하게" 논쟁 격화

위키피디아 트래픽 8% 급감: AI가 무료 지식을 잡아먹는 방식

위키미디어 재단이 충격 발표를 했습니다. 2025년 5~8월 실제 인간 방문자가 전년 대비 8% 감소했다는 거죠. AI가 콘텐츠는 쓰지만 출처는 외면하는 구조입니다.

자원봉사 생태계의 위기:

  • 방문자→편집자→품질 악순환: 구글이 위키피디아 내용을 AI 요약으로 보여주니 직접 방문이 줄고, 이는 자원봉사 편집자 감소와 콘텐츠 품질 저하로 이어질 위험

  • 레딧도 주가 60% 폭락: 구글 알고리즘 변경으로 트래픽 급감. 자체 AI 검색으로 방어에 나섰지만 Wells Fargo는 "사용자 이탈 영구적" 전망

  • 쓰이지만 보상 없는 역설: ChatGPT, Gemini 모두 위키피디아로 학습. 콘텐츠 가치는 높아졌지만 위키피디아 자체는 위기

뉴욕주, AI 임대료 알고리즘 금지…연간 38억 달러 피해 차단

뉴욕주가 미국 최초로 임대료 설정 AI 알고리즘을 금지했습니다. RealPage 소프트웨어가 사실상 가격 담합을 조장해 2024년 한 해 38억 달러 피해를 입혔다는 판단입니다.

컴퓨터가 월세를 올리는 시대:

  • 주 차원 첫 금지법: 같은 알고리즘 사용 시 "고의적이든 무모하게든" 담합으로 간주. 저지시티, 필라델피아 등 도시 금지에 이은 주 단위 조치

  • 임대료 14.5% 폭등: ProPublica 조사에서 RealPage 알고리즘이 일부 지역 임대료를 14.5% 끌어올림. 시애틀 아파트는 2012년 이래 42% 상승

  • "공감 제거"가 목표: 개발자는 AI가 직원의 "공감"을 배제하고 최대 수익 추구하도록 설계했다고 인정. 1980년대 항공권 가격 담합 주역이 같은 모델을 부동산에 적용

BERT는 텍스트 디퓨전 모델이었다: 7년간 몰랐던 진실

2018년부터 사용해온 BERT의 마스크 언어 모델링이 사실 디퓨전 모델과 같은 원리였다는 사실이 밝혀졌습니다. 기존 BERT를 GPT처럼 생성 모델로 전환할 수 있다는 의미죠.

고정 비율에 숨겨진 디퓨전:

  • 15% 고정이 전부였다: 마스킹 비율을 15%로 고정한 게 BERT와 디퓨전의 유일한 차이. 이를 가변적으로 조정하면 완전한 생성 모델로 전환 가능

  • 30분 학습으로 GPT-2 수준: RoBERTa를 파인튜닝해 텍스트 생성 모델로 전환. GPT는 단어를 하나씩 예측하지만 디퓨전은 전체 문장을 점진적으로 복원

  • 새로운 생성 패러다임: 자기회귀 외에 디퓨전 기반 생성이라는 대안 제시. 구글 DeepMind의 Gemini Diffusion 등 새 흐름 시작

AGI는 아직 10년 거리: Andrej Karpathy가 말하는 현실

OpenAI 창립 멤버 Andrej Karpathy가 AI 에이전트의 현실을 솔직하게 털어놨습니다. 화려한 데모와 달리 실제는 "매우 느리고" "신뢰할 수 없으며" "대부분 실패한다"는 겁니다.

AGI 10년설의 진짜 근거:

  • 강화학습의 벽: 체스는 즉각적 피드백이 가능하지만 "이 이메일 잘 썼어?"는 명확한 보상 신호가 없음. 인간 피드백은 비용과 규모의 한계

  • 코딩 AI 30% 통계의 함정: GitHub Copilot이 코드 30% 자동 완성은 "보일러플레이트 속도 향상"일 뿐 "엔지니어링 30% 해결"이 아님

  • 희망의 신호들: o1의 추론 시간 컴퓨팅 확장, 합성 데이터 생성, 자가 학습 루프가 돌파구. "30년 전에도 10년이었지만, 이번엔 다를 수 있다"

이것도 놓치지 마세요 ✨

이 뉴스레터에서 다루지 못한 주목할 만한 소식들입니다:

🔧 AI 도구 & 개발

🎬 AI 콘텐츠 & 미디어

💼 비즈니스 & 마케팅

🔬 AI 연구 & 헬스케어

⚠️ AI 정책 & 윤리

AI Sparkup에서 매일 업데이트되는 최신 AI 뉴스와 인사이트를 놓치지 마세요. aisparkup.com에서 더 많은 정보를 확인하실 수 있습니다.