결국 구글이 AI 시장을 접수한다" - HBM의 아버지가 말하는 엔비디아와 오픈AI의 미래
HBM의 아버지가 말하는 AI 시장의 미래, 결국 구글이 모든 것을 가져갈 수밖에 없는 이유
카이스트 김정호 교수가 디일렉 인터뷰에서 던진 한 마디가 업계를 술렁이게 만들고 있습니다. "HBM이 AI 시대의 중심이며, 한국이 메모리 패권을 놓치면 생존 위기다." 그런데 이 말의 진짜 의미는 단순히 메모리 반도체 이야기가 아닙니다. 엔비디아와 오픈AI가 아무리 강력해도, 결국 구글이 AI 시장을 접수할 수밖에 없는 구조적 이유를 설명하는 핵심 단서입니다.
- HBM 개발자 김정호 교수: "메모리가 AI 시대의 진짜 병목"
- 엔비디아와 오픈AI의 약점: 데이터 생태계 부재
- 구글의 숨겨진 무기: 검색 데이터 + TPU + HBM 수직계열화
HBM이 왜 갑자기 AI 시장의 핵심이 됐나
김정호 교수는 HBM(High Bandwidth Memory)을 최초로 개발한 인물입니다. 그가 지금 경고하는 건 단순한 기술 자랑이 아닙니다. AI 모델이 커질수록 연산 속도보다 '메모리 대역폭'이 진짜 병목이 된다는 겁니다. 엔비디아 GPU가 아무리 강력해도 HBM 없이는 무용지물이라는 뜻이죠.
현재 AI 학습에 쓰이는 GPU 한 장당 HBM3E 메모리가 8개씩 붙습니다. 문제는 이 HBM을 만들 수 있는 회사가 삼성과 SK하이닉스, 그리고 마이크론 단 3곳뿐이라는 점입니다. 공급 부족은 이미 시작됐고, 2025년 하반기부터는 본격적인 품귀 현상이 예상됩니다.
엔비디아의 치명적 약점: 데이터가 없다
엔비디아는 AI 칩 시장 점유율 80%를 넘는 절대 강자입니다. 하지만 한 가지 치명적 약점이 있습니다. 바로 '학습 데이터'를 직접 소유하지 못한다는 점이죠. GPU는 팔지만, 그 GPU로 무엇을 학습시킬지는 고객이 결정합니다.
오픈AI도 마찬가지입니다. GPT 모델은 강력하지만, 지속적으로 업데이트할 신선한 데이터는 외부에서 구매하거나 크롤링해야 합니다. 레딧, 스택오버플로우 같은 플랫폼과 계약을 맺는 이유가 여기 있습니다. 문제는 이런 데이터 계약 비용이 기하급수적으로 증가하고 있다는 점입니다.
구글은 다릅니다
구글은 검색 쿼리 하루 85억 건, 유튜브 영상 시청 시간 하루 10억 시간, 지메일 사용자 18억 명의 데이터를 실시간으로 보유합니다. 이건 돈으로 살 수 없는 자산입니다. 더 무서운 건 이 데이터가 '자동 갱신'된다는 점입니다. 사용자가 검색할 때마다, 영상을 볼 때마다 AI 학습 데이터가 쌓입니다.
TPU + HBM 수직계열화, 구글만 가능한 전략
구글은 2016년부터 자체 AI 칩 TPU(Tensor Processing Unit)를 개발해왔습니다. 처음엔 엔비디아 GPU의 대안 정도로 여겨졌지만, 지금은 상황이 달라졌습니다. 구글은 TPU v5와 함께 HBM3 메모리를 직접 설계에 반영하며 최적화 수준을 끌어올렸습니다.
여기서 핵심은 '수직계열화'입니다. 엔비디아는 GPU를 팔고, 고객이 알아서 HBM을 조달해 시스템을 구성합니다. 반면 구글은 TPU 설계부터 HBM 배치, 소프트웨어 최적화까지 모두 자체 통제합니다. 이는 전력 효율과 학습 속도에서 압도적 우위를 만듭니다.
| 항목 | 엔비디아 GPU | 구글 TPU |
|---|---|---|
| 데이터 소유 | 없음 | 85억 검색/일 |
| HBM 통합 | 외부 조달 | 자체 최적화 |
| 전력 효율 | 300W | 150W |
한국 메모리 반도체의 딜레마
김정호 교수가 "메모리 패권을 놓치면 생존 위기"라고 경고한 이유는 명확합니다. HBM 시장은 지금 삼성과 SK하이닉스가 장악하고 있지만, 구글과 애플 같은 빅테크가 직접 메모리 설계에 뛰어들 가능성이 높아지고 있습니다.
실제로 구글은 2024년부터 HBM 커스터마이징 요구사항을 삼성에 직접 전달하기 시작했습니다. 이는 단순 구매자가 아니라 '공동 설계자' 위치로 올라섰다는 의미입니다. 만약 구글이 HBM 설계 노하우까지 내재화하면, 한국 메모리 기업은 단순 하청업체로 전락할 위험이 있습니다.
오픈AI의 한계: 인프라 없는 소프트웨어 기업
오픈AI는 ChatGPT로 AI 대중화를 이끌었지만, 근본적으로 '소프트웨어 회사'입니다. 자체 데이터센터도, GPU 제조 능력도, 메모리 공급망도 없습니다. 모든 인프라를 마이크로소프트 애저에 의존하는 구조죠.
문제는 비용입니다. ChatGPT 하루 운영비가 약 70만 달러(약 9억 원)로 추정됩니다. 사용자가 늘어날수록 GPU 임대 비용이 기하급수적으로 증가합니다. 반면 구글은 자체 TPU로 운영하기 때문에 감가상각 외 추가 비용이 거의 없습니다.
구글의 숨겨진 무기: 멀티모달 데이터 독점
구글이 가진 진짜 무기는 '멀티모달 데이터'입니다. 텍스트(검색), 이미지(구글 포토), 영상(유튜브), 음성(어시스턴트), 지도(구글맵)까지 모든 형태의 데이터를 보유합니다. 이는 차세대 AI 모델인 '제미나이'가 단순 텍스트 AI를 넘어 진짜 범용 AI로 진화할 수 있는 기반입니다.
엔비디아와 오픈AI는 이런 데이터 생태계를 구축할 방법이 없습니다. 검색 엔진을 새로 만들 수도, 유튜브 규모의 영상 플랫폼을 키울 수도 없죠. AI 시장에서 데이터 없이 살아남는 건 불가능합니다.
2026년, 구글이 AI 시장을 접수하는 시나리오
김정호 교수의 경고를 종합하면 이런 그림이 그려집니다. 2026년 상반기, HBM4 양산이 시작되면서 구글은 TPU v6와 결합한 차세대 AI 인프라를 공개합니다. 동시에 제미나이 2.0이 멀티모달 성능에서 GPT-5를 압도하며 시장 판도를 뒤집습니다.
엔비디아는 여전히 GPU를 팔겠지만, 구글처럼 데이터-칩-소프트웨어를 통합한 기업과 경쟁하기엔 한계가 명확합니다. 오픈AI는 마이크로소프트 없이는 생존 불가능한 상태가 되고, 결국 인수합병 논의가 본격화될 가능성이 높습니다.
한국 기업이 살아남는 법
김정호 교수는 한국 기업들에게 명확한 메시지를 던졌습니다. "HBM 기술 우위를 유지하되, 단순 공급자에서 벗어나 AI 시스템 설계 파트너로 진화해야 한다." 삼성과 SK하이닉스가 메모리만 파는 게 아니라, 구글·애플과 함께 차세대 AI 칩 아키텍처를 공동 개발하는 단계로 나아가야 한다는 겁니다.
실제로 SK하이닉스는 이미 엔비디아와 HBM3E 공동 개발로 성공 사례를 만들었습니다. 삼성전자도 차세대 메모리 신소재 개발에 속도를 내고 있죠. 문제는 시간입니다. 구글이 메모리 설계까지 내재화하기 전에 협력 관계를 굳혀야 합니다.
결론: AI 시장의 최종 승자는 이미 정해졌다
HBM의 아버지가 말하는 AI 시장의 미래는 명확합니다. 엔비디아는 강력하지만 데이터가 없고, 오픈AI는 혁신적이지만 인프라가 없습니다. 반면 구글은 데이터, 칩, 메모리, 소프트웨어를 모두 통제하는 유일한 기업입니다.
2026년이 되면 우리는 "왜 구글이 AI 시장을 접수했는지" 뒤늦게 깨닫게 될 겁니다. 그때는 이미 늦습니다. 지금 당신이 주목해야 할 건 GPU 성능이 아니라, 누가 데이터와 메모리를 장악하고 있는지입니다. 당신은 이 변화에 어떻게 대비하고 계신가요?
