내 폰이 AI를 직접 돌리기 시작했다 — '클라우드 잠식'은 아직 오지 않았다

한 줄 요약: 추론은 단말로 내려오고 있지만, 그걸 끌어낸 힘은 가격이 아니라 규제와 새 칩이고 1차 수혜는 디바이스 브랜드가 아니라 칩 설계사와 메모리다.

---

도입 — 폰이 AI를 직접 돌리기 시작했다

사진 속 사람을 지우고, 통화를 실시간 자막으로 받고, 비행기 모드에서 글을 요약한다. 몇 년 전이라면 이 작업은 전부 인터넷 너머의 거대한 컴퓨터, 즉 '클라우드'로 보내져 처리됐다.

지금은 폰이 직접 한다. 비행기 모드에서도 된다. 데이터가 밖으로 나가지 않는다.

이걸 온디바이스 AI라고 부른다. 'AI를 기기(device) 위(on)에서 돌린다'는 뜻이다. 그러면 질문이 따라온다. AI가 클라우드를 떠나 내 손 안으로 들어오면, 큰돈을 벌던 클라우드 사업자는 망하나. 그리고 누가 새로 버나.

결론부터 말하면 "클라우드가 죽는다"는 이야기는 이르다. 지금 벌어지는 일은 클라우드 잠식이 아니라 전혀 다른 두 힘이 단말을 밀어 올리는 국면이다. 이 글이 끝까지 따라가는 질문은 하나다. 추론이 단말로 옮겨갈 때 반도체·디바이스·클라우드 중 누가 유리하고, 기업은 어디에 베팅해야 하나.

답하려면 용어 두 개부터 정리한다. 어렵지 않다.

• 학습(training): AI 모델을 똑똑하게 만드는 과정. 엄청난 연산이 필요해 거대한 데이터센터에서만 가능하다. 요리로 치면 레시피를 개발하는 단계다.
• 추론(inference): 다 만든 모델을 실제로 써먹는 과정. 사진을 지우고 문장을 요약하는 그 순간이다. 레시피대로 한 접시 내는 단계다.

학습은 앞으로도 데이터센터의 일이다. 논쟁의 핵심은 추론이다. 이 '한 접시 내는 일'이 멀리 클라우드에서 일어나느냐 내 손 안 폰에서 일어나느냐. 추론의 위치 이동이 산업의 돈 흐름을 바꾸는 진짜 변수다.

배경 — 무대 장치는 이미 깔렸다

시장 무게중심은 추론 쪽으로 옮겨가고 있다.

민간 리서치 업체 MarketsandMarkets 추정으로 전 세계 AI 추론 시장은 2025년 약 1,060억 달러에서 2030년 약 2,550억 달러로 커진다(연평균 19.2% 성장). 5년 만에 두 배가 넘는 속도다. 단 공식 통계가 아니라 민간 추정치다(Source Notes 참조).

숫자보다 방향이 중요하다. 돈이 '모델을 만드는 일'에서 '모델을 쓰는 일'로 넘어가고 있다는 신호다. AI가 연구실 장난감에서 매일 쓰는 도구로 넘어왔다는 뜻이기도 하다.

그리고 그 '쓰는 일'의 일부가 단말로 내려오고 있다.

• Counterpoint Research 집계로 생성형 AI를 탑재한 스마트폰 누적 출하량은 2025년 3분기에 5억 대를 넘었다. 다음 5억 대는 더 빨리 쌓여 2026년 3분기쯤 누적 10억 대에 이를 전망이다. 10억은 한 해 판매량이 아니라 그동안 쌓인 누적치다. 이 구분이 중요하다.
• PC도 비슷하다. AI 연산 전용칩(NPU)을 단 'AI PC'가 빠르게 는다. 단 비중 추정은 기관마다 갈린다. Canalys는 2025년 전체 PC 출하의 약 40%로 봤고(2024년 3월 발표), Gartner는 31%로 잡았다(2025년 8월 발표). 9%p 차이는 'AI PC'를 어디까지로 정의하느냐의 차이로 보인다.

단말은 AI를 직접 돌릴 하드웨어를 빠르게 갖춰가는 중이다. 무대 장치는 깔렸다. 진짜 문제는 누가 그 무대에서 돈을 버느냐다.

쉽게 말하면 — 전기로 바꿔 보면

AI 산업을 거대한 '전기'에 비유해 보자.

• 학습은 발전소를 짓는 일이다. 어마어마한 자본이 들고 소수의 거대 사업자만 한다.
• 추론은 그 전기를 콘센트에 꽂아 쓰는 일이다. 지금까지는 콘센트가 전부 클라우드라는 '중앙 발전소'에 직결돼 있었다.

온디바이스 AI는 여기에 작은 변화를 준다. 자주 쓰는 가전(사진 보정·자막·요약)을 위해 집집마다 작은 태양광 패널과 배터리를 다는 셈이다. 동네에서 쓸 전기 일부를 집에서 직접 만든다. 중앙 발전소로 보내던 부하가 줄고, 전기를 멀리 보낼 때 새던 손실(지연·통신비·프라이버시 노출)도 준다.

단, 한 가지. 집 태양광이 생겼다고 발전소가 문을 닫지는 않는다. 큰 공장 돌리는 전기, 흐린 날 전기, 한꺼번에 몰아 쓰는 전기는 여전히 발전소 몫이다. 온디바이스 AI와 클라우드의 관계가 딱 이렇다.

산업 구조 — 누가 돈을 내고 누가 버나

온디바이스 AI 밸류체인을 따라 돈의 길을 본다. 위에서 아래로 흐른다.

1. IP(설계 자산) — ARM: 거의 모든 모바일 칩이 ARM 명령어 설계를 라이선스해 만든다. 칩이 몇 개 팔리든 길목에서 통행료를 받는, 가장 조용한 수혜자다.
2. AP/SoC 설계사 — Qualcomm·MediaTek·Apple·삼성: NPU(AI 전용 연산 블록)를 직접 설계해 넣는 곳. 온디바이스 추론의 성능을 결정하는 심장을 만든다. 전체 스마트폰 SoC 점유율은 2025년 1분기 기준 MediaTek 36%, Qualcomm 28%다(Counterpoint, 전체 SoC 기준). Apple과 삼성은 자사 기기용 칩(A 시리즈·Exynos)을 직접 설계한다.
3. 메모리 — LPDDR(저전력 D램): AI 모델은 단말 메모리 위에 통째로 올라가야 빠르게 돈다. 모델이 커질수록 메모리 용량·대역폭 수요가 커진다. 추론이 단말로 내려올수록 조용히 수요가 붙는 자리다.
4. 디바이스 제조사 — 스마트폰·PC 브랜드: 'AI 기능'을 새 폰·새 PC를 살 이유로 포장해 교체 수요를 만든다. 하드웨어가 구독 진입로가 되기도 한다.
5. 클라우드 — 무거운 추론·학습: 단말이 못 감당하는 큰 모델, 복잡한 작업은 여전히 여기로 올라온다. 잠식당하는 쪽처럼 보이지만 방어 카드가 있다(뒤에서 본다).

추론이 단말로 내려올 때 가장 먼저 버는 건 눈에 띄는 디바이스 브랜드가 아니다. 먼저 버는 쪽은 칩을 설계하는 회사(ARM·AP 설계사)와 그 옆에 붙는 메모리다. 무대 위 배우보다 무대 자체를 파는 쪽이 먼저 번다.

최근 변화 — 단말을 등 떠미는 두 개의 힘

무대 장치만 깔린 게 아니다. 단말을 등 떠미는 두 힘이 동시에 들어왔다.

힘 1 — 규제가 데이터를 현지로 묶는다. 유럽이 앞장섰다.

• EU 데이터법(Data Act): 2025년 9월 12일부터 적용. 데이터 이동·접근 규칙을 강화했다.
• EU AI법(AI Act): 고위험 AI에 대한 핵심 의무가 2026년 8월 2일부터 시행 예정이다.
• GDPR 위반 벌금은 2024년 한 해에만 약 12억 유로가 부과됐다(CMS Law·DLA Piper 집계). 규제가 종이호랑이가 아니라는 뜻이다.

데이터를 함부로 클라우드로 보냈다간 벌금과 컴플라이언스 비용이 따라온다. 가장 깔끔한 답은 민감한 처리를 아예 단말 안에서 끝내는 것이다. 규제가 온디바이스 AI를 '있으면 좋은 기능'에서 '있어야 하는 안전장치'로 바꾸고 있다.

힘 2 — 새 칩이 단말을 새로 살 이유를 만든다. 플래그십 칩의 NPU 성능이 빠르게 올라왔다.

• Apple A18 Pro: 35 TOPS(초당 35조 번 연산, Apple 공식)
• MediaTek Dimensity 9400: 50 TOPS(공식)
• Qualcomm Snapdragon 8 Elite Gen 5(2025): 100 TOPS(공식). 단, 2024년 출시한 8 Elite의 모바일용 절대 TOPS는 Qualcomm이 공개하지 않았다(전작 대비 45% 향상만 발표).

지금 단말을 밀어 올리는 건 '클라우드보다 싸서'가 아니다. 규제(보내면 안 되니까)와 하드웨어 교체 주기(새 칩이 나왔으니까), 이 두 힘이 단말을 떠민다. 비용 경쟁에서 클라우드를 이겨서 벌어진 일이 아니라는 점, 이게 흔히 놓치는 대목이다.

진짜 중요한 점 — 추세는 단말, 절대량은 아직 클라우드

흐름을 한 번 뒤집어 보자. "추론이 단말로 간다"는 말만 들으면 클라우드가 쪼그라드는 그림이 떠오른다. 데이터는 정반대를 가리킨다.

Deloitte의 2026년 TMT 전망으로 AI 컴퓨팅에서 추론이 차지하는 비중은 2023년 약 1/3, 2025년 1/2, 2026년 약 2/3까지 올라간다. 추론이 AI의 주된 일이 되는 건 맞다.

문제는 그 추론이 어디서 도느냐다. 같은 Deloitte 보고서는 추론의 2/3조차 여전히 대부분 데이터센터에서 수행된다고 본다. 2026년 글로벌 AI 데이터센터 투자(CAPEX) 전망은 4,000억 달러를 웃돈다. 단말로의 이동이 진행 중이어도 무게중심은 아직 클라우드에 있다.

두 사실은 모순처럼 보이지만 둘 다 참이다.

• 추세(방향)는 단말 쪽으로 기운다.
• 절대량(부피)은 여전히 클라우드가 압도한다.

함정이 하나 더 있다. 출하량은 실사용량이 아니다. Deloitte는 2025년 전망에서 이미 경고했다. GenAI 스마트폰이 많이 팔려도 그 안의 AI 기능을 실제로 쓰는 사람은 생각보다 적을 수 있다는 것이다. AI PC 비중을 두고 Canalys(40%)와 Gartner(31%)가 9%p 갈리는 것도 'AI PC를 어디까지로 칠 거냐'는 정의 싸움이다. 숫자가 곧 사용은 아니다.

지금 국면을 정직하게 부르면 '클라우드 잠식'이 아니라 '규제 컴플라이언스 + 단말 업그레이드'가 만든 전환기다. 클라우드의 죽음을 점치는 건 적어도 지금 데이터로는 이르다.

크로스산업 — 처음 보는 영화가 아니다

이 구조는 IT 역사에서 여러 번 반복된 패턴이다. 다른 산업의 거울에 비춰보면 지금 위치가 더 또렷해진다.

거울 1 — 메인프레임에서 PC로: 중앙과 분산은 진자처럼 오간다. 1970년대엔 거대한 메인프레임 한 대에 모두가 단말기로 접속했다(중앙). 1980~90년대엔 PC가 연산을 책상으로 끌어내렸다(분산). 2000년대 클라우드로 다시 중앙으로 갔다. 온디바이스 AI는 그 진자가 다시 분산 쪽으로 살짝 밀린 것이다. 이건 한쪽의 승리가 아니라 왕복 운동이다. 진자는 끝까지 가지 않는다.

거울 2 — iPod에서 iPhone으로: 통합하는 자가 가치를 가져간다. MP3 시대엔 부품·소프트웨어가 흩어져 있었다. Apple은 칩·OS·서비스를 하나로 묶어(통합) 가치를 포획했다. 지금 Apple이 칩(NPU)·OS·Apple Intelligence·클라우드(Private Cloud Compute)를 한 묶음으로 설계하는 것도 같은 문법이다. 수직 통합한 플랫폼이 분산 전환의 과실을 가장 크게 가져갈 자리에 선다.

거울 3 — Netflix Open Connect: 엣지 이동은 비용을 줄인다(단, 한계). Netflix는 같은 영상을 매번 본사에서 쏘는 대신 통신사 가까이에 캐시 서버를 두고 비용을 줄였다(엣지). 온디바이스 AI도 '멀리 안 보내서' 통신·지연 비용을 줄인다는 점은 같다. 결정적 차이가 있다. 영상은 한 번 받아두면 수만 명이 재사용한다. AI 추론은 매 요청이 다 다른 계산이라 재사용이 안 된다. 엣지 캐싱식 비용 절감을 온디바이스 AI에 그대로 기대하면 과장이 된다.

거울 4 — Meta·Schrems II: 규제가 현지화를 강제한다. 유럽 법원이 EU 데이터의 미국 이전에 제동을 걸자 글로벌 기업들은 데이터를 EU 안에 두는 '현지화'로 방향을 틀었다. 지금 EU 데이터법·AI법이 만드는 압력도 같은 결이다. 규제는 기술 트렌드와 무관하게 데이터를 물리적으로 가둔다. 온디바이스와 '주권 클라우드' 둘 다를 동시에 밀어 올리는 힘이다.

네 개의 거울이 가리키는 방향은 하나다. 분산 전환에서 돈을 버는 건 '추론을 단말로 옮긴다'는 구호가 아니라 길목의 부품을 파는 자·칩과 OS와 서비스를 통합한 자·규제를 먼저 제품으로 만든 자다.

누가 유리한가 — 그리고 한국엔 무슨 뜻인가

거울들을 통과시키면 수혜·위험 지도가 선명해진다.

• AP/SoC 설계사(Qualcomm·MediaTek·Apple·삼성): 온디바이스 추론의 심장인 NPU를 만든다. 단말이 똑똑해질수록 가장 먼저 번다.
• 메모리(LPDDR 진영): 모델이 단말 메모리 위에 올라가야 하니 추론이 내려올수록 용량·대역폭 수요가 조용히 는다.
• ARM: 칩이 몇 개 팔리든 설계 길목에서 통행료를 받는다.

방어 가능한 쪽

• 클라우드 사업자: 잠식당하는 듯 보이지만 무거운 추론·학습은 여전히 그들 몫이다. 규제가 만든 '주권 클라우드·인컨트리 클라우드'(데이터를 특정 국가 안에서만 처리하는 클라우드)라는 새 시장이 방어선이 된다. Apple이 Private Cloud Compute로 '프라이버시를 지키는 클라우드'를 따로 설계한 것이 상징적이다.

조심해야 할 쪽 / 함정

• 'AI 기능' 출하만 믿는 디바이스 전략: 출하는 실사용이 아니다. 안 쓰는 기능은 교체 수요를 오래 못 만든다.
• 단말 성능 비교 마케팅: TOPS 숫자는 칩·연도·용도(모바일/PC)가 섞이기 쉽다. Qualcomm 8 Elite(2024)처럼 절대 수치가 공개 안 된 경우도 있어 단순 줄세우기는 위험하다.

이 전환은 한국에 흔치 않게 두 레이어를 동시에 건드린다.

• 칩 레이어: 삼성은 자사 Exynos AP를 설계하는 몇 안 되는 사업자다. NPU 경쟁의 직접 당사자다.
• 메모리 레이어: 추론이 단말로 내려올수록 LPDDR 수요가 붙는다. 여기는 한국 메모리 업계의 핵심 전장이다.

두 레이어를 동시에 가진 나라는 많지 않다. 단 자동 수혜가 아니라 '잘하면 수혜'다. NPU 설계 경쟁력과 고대역폭 저전력 메모리에서의 위치가 실제 과실의 크기를 가른다.

앞으로 볼 포인트 — 추적할 다섯 변수

단정 대신 다음 변수를 추적하면 된다.

1. 추론 비중과 데이터센터 CAPEX의 갈림. 추론 비중(Deloitte 기준 2026년 2/3)이 오르는데도 데이터센터 투자(4,000억 달러+)가 계속 늘면 단말 이동은 '대체'가 아니라 '추가'다. 둘이 처음으로 반대로 움직이는 순간이 진짜 전환 신호다.
2. GenAI 기기의 실사용률. 출하가 아니라 실제 기능 사용률·재방문 데이터. 출하 10억 대(2026 Q3 누적 전망)가 실사용으로 바뀌는지가 디바이스 전략의 성패를 가른다.
3. NPU TOPS의 비교 가능한 공개. Qualcomm이 모바일 8시리즈 절대 TOPS를 공개해 칩 간 직접 비교가 가능해지는지. 이게 열려야 진짜 성능 경쟁이 보인다.
4. 규제 시계. EU AI법 고위험 조항(2026년 8월 2일) 시행 후 실제 집행·벌금 사례. 규제가 온디바이스·주권 클라우드 수요를 얼마나 실제로 끌어올리는지.
5. 클라우드의 반격 카드. Apple Private Cloud Compute 같은 '프라이버시 보장 클라우드' 모델이 확산되는지, 단말의 AI 기능이 결국 구독(예: iCloud+ 상위 한도)으로 수렴하는지.

인코어 관점

"AI가 클라우드를 떠나 내 손으로 들어온다"는 문장은 절반만 맞다.

추론이 단말로 내려오는 흐름은 실재한다. 하지만 그걸 끌어낸 힘은 '클라우드보다 싸고 좋아서'가 아니다. 규제가 데이터를 가두고 새 칩이 교체를 부추겼기 때문이다. 지금은 클라우드의 패배가 아니라 클라우드·단말·규제가 새 균형점을 찾아가는 전환기다. 진자가 분산 쪽으로 살짝 움직였을 뿐 끝까지 간 게 아니다.

이 국면에서 돈은 구호를 외치는 쪽이 아니라 길목을 쥔 쪽으로 흐른다. NPU를 설계하는 AP 회사, 그 옆에 붙는 저전력 메모리, 통행료를 걷는 ARM, 규제를 제품(주권 클라우드)으로 먼저 바꾼 클라우드다. 한국은 드물게 칩과 메모리 두 레이어에 동시에 서 있다. 자동 수혜는 아니지만 잘 두면 두 번 걷을 수 있는 자리다.

기업이라면 '온디바이스냐 클라우드냐'를 양자택일로 보지 말 것. 민감·실시간·오프라인은 단말, 무겁고 복잡한 건 (주권) 클라우드. 둘을 나눠 쓰는 하이브리드 설계가 당분간 정답에 가깝다. 클라우드가 죽기를 기다리며 베팅하는 건 적어도 지금 데이터로는 이른 도박이다.

이것만은 가져가자

• 지금은 '클라우드 잠식'이 아니라 '규제 + 단말 업그레이드' 전환기다. 추세는 단말로 기울지만 절대량은 아직 클라우드가 압도한다(추론 비중 2026년 약 2/3, 그 2/3도 대부분 데이터센터·Deloitte 전망).
• 1차 수혜는 디바이스 브랜드가 아니라 칩 설계사(ARM·AP)와 메모리(LPDDR)다. 무대를 파는 쪽이 배우보다 먼저 번다.
• 클라우드는 죽지 않고 '주권 클라우드'로 방어선을 다시 친다. 규제가 온디바이스와 주권 클라우드를 동시에 밀어 올린다.
• 한국은 칩(삼성 Exynos)과 메모리 두 레이어에 동시에 걸쳐 있다. 단 자동 수혜가 아니라 '잘하면 수혜'다.
• 추적할 변수: 데이터센터 CAPEX가 추론 비중과 처음으로 반대로 꺾이는 순간, GenAI 기기의 실사용률, NPU TOPS의 비교 가능한 공개, EU AI법 집행 사례.