기술이 기술을 위한 것인지, 전통적인 하드웨어로 충분한지
최근 1년간 인텔, AMD, 퀄컴 등의 기업들은 인공지능(NPU)용 프로세서를 차세대 필수 업그레이드로 광고하고 있습니다. 그러나 이들은 정말로 변화를 가져다줄까요, 아니면 단지 마케팅용 과대 포장에 불과할까요?
NPU란?
NPU는 소형 전자 기기(SoC)에 포함된 AI 전용 프로세서로, AI 작업(예: 배경 소음 억제, 실시간 영상 향상, 기본 생성형 AI 기능)을 처리합니다. 인텔의 Meteor Lake의 VPU, AMD의 Ryzen AI, 퀄컴의 Hexagon AI 프로세서 등이 대표적입니다. 이들은 AI 작업을 CPU 및 GPU에서 NPU로 옮겨 배터리 수명을 늘리고, 칩 내 AI 처리 속도를 높인다고 주장합니다.
그러나 AI 기능을 지원하는 이러한 프로세서가 진정으로 게임 체인저인지, 아니면 사용자가 실질적으로 필요한 기능을 채워야 할 다이 공간을 차지하는지에 대한 의문이 제기됩니다.
NPU의 혜택의 현실
모바일 기기에서는 배터리 효율성 향상이 중요한데, NPU가 이를 개선할 수 있습니다. 하지만 노트북처럼 배터리 수명이 상대적으로 긴 기기에서는 그 영향력이 크지 않습니다. 특히, NPU의 기능은 사용자 경험에 큰 변화를 주지 않는 틈새 기능이 많습니다. 음성 명령을 자주 사용하거나 화상 통화 개선 기능을 자주 사용하는 경우 배터리를 절약할 수 있지만, 대부분의 사용자에게는 필수적이지 않은 기능입니다. NPU가 전력 소비를 줄이기는 해도 혁신이라기보다는 효율성의 점진적 향상에 가깝습니다.
예를 들어, 인텔의 Meteor Lake VPU는 화상 통화 시 배경 흐림 처리나 소음 제거와 같은 온디바이스 AI 작업을 처리합니다. CPU와 GPU도 이 작업을 충분히 수행할 수 있으며, NPU의 주된 이점은 전력 효율성 소폭 증가에 불과합니다. AMD의 Ryzen AI와 퀄컴의 Hexagon 프로세서 역시 비슷한 방식으로 효율성을 제공하지만, 사용자 대부분에게 눈에 띄는 기능 확장을 제공하지는 않습니다.
TOPS는 트럼프다
NPU에 대해 이야기할 때, 벤더들은 종종 TOPS라는 성능 지표를 강조합니다. 인텔의 Lunar Lake는 48 TOPS NPU를 자랑하며, AMD의 Ryzen AI 300 시리즈는 55 TOPS, 퀄컴의 Snapdragon X Elite는 45 TOPS NPU를 보유하고 있습니다. 그러나 TOPS는 실험실 조건에서의 이론적 최고 성능일 뿐이며, 실사용 시 실제 성능 향상을 의미하지 않습니다. 평균 사용자에게 이러한 숫자는 그저 이론적 숫자만큼이나 실제적인 의미가 없습니다.
다이 공간 활용의 딜레마
NPU는 값비싼 다이 공간을 소비하며, 이 공간은 CPU 코어나 GPU 성능 향상 같은 더 보편적으로 유용한 기능에 할당될 수 있습니다. 예를 들어, AMD의 Zen 5 기반 Ryzen AI 300 모바일 SoC에서 NPU는 다이 공간의 약 10-15%를 차지합니다. 이 공간을 CPU 코어 추가에 활용하면 멀티 스레드 애플리케이션 성능이 개선되어 개발자, 콘텐츠 제작자, 고급 사용자에게 유익할 것입니다.
또한 통합 GPU 확장을 통해 그래픽 성능을 향상시키는 것이 게이머나 그래픽 집약적 애플리케이션을 사용하는 전문가들에게 더 가치가 있을 수 있습니다. 전통적으로 AI 작업은 GPU에서 주로 처리되어 왔기 때문에, GPU 성능을 향상시키는 것이 더 효과적일 수 있습니다.
NPU는 정말 미래 지향적인가?
제조사들은 NPU가 AI 중심 세계에서 노트북을 미래 지향적으로 만드는 데 필수적이라고 홍보하지만, AI 기술이 빠르게 발전하는 만큼 해당 하드웨어 기능이 지속해서 유효할지 예측하기 어렵습니다. NPU는 특정 AI 작업에 장점을 제공하긴 하지만, 대부분의 사용자는 이를 크게 체감하지 못할 것입니다. 대부분의 일상적인 작업(웹 브라우징, 문서 편집, 미디어 소비 등)에는 AI 최적화가 필요하지 않기 때문입니다.
NPU의 유망한 점은 현재보다는 미래 애플리케이션에 있지만, 평균 소비자에게는 지금 당장의 유의미한 이점이 부족합니다.
새로운 혁신인가, 단순한 마케팅인가?
음성 인식 변환이나 실시간 번역 도구 등 AI의 실용적인 애플리케이션이 많지만, 노트북에서의 NPU는 시기상조로 보입니다. 이 기술은 마치 마케팅 전략에 의해 주도된 '문제 없는 해결책'처럼 보이며, AI 애플리케이션이 일상적인 컴퓨팅에서 정말로 필요해질 때까지 NPU는 과장된 기능으로 남을 가능성이 큽니다.
그 사이에 소비자들은 오히려 처리 성능, 그래픽 성능, 전반적인 시스템 성능 향상에서 더 많은 혜택을 누릴 수 있을 것입니다. 현 시점에서 NPU는 흥미로운 발전이지만, 현재 소비자에게 꼭 필요한 혁신은 아닐 수 있습니다.
PC 제조업체들은 NPU를 포함한 하드웨어를 홍보하는 데 열을 올리고 있으며, 이는 AI PC가 평균 판매 가격을 5-10% 인상할 수 있기 때문입니다.
진짜 칩셋 제조사들 TOPS수치 장난질은 걸러들어야 함. 회사마다 기준이 미묘하게 달라.
요즘은 거의 INT8 기준으로 하고 있습니다. 문제는 각 제조사 별로 API가 달라서 동일한 환경에서 성능 비교가 어렵다는거네요.
그리고 실제로 SoC별로 성능이 제대로 측정이 안된다고 합니다 긱벤치AI로도 ㅠ
진짜 칩셋 제조사들 TOPS수치 장난질은 걸러들어야 함. 회사마다 기준이 미묘하게 달라.
라스트리스
요즘은 거의 INT8 기준으로 하고 있습니다. 문제는 각 제조사 별로 API가 달라서 동일한 환경에서 성능 비교가 어렵다는거네요.
그나마 긱벤치AI가 최근 출시된 크로스플랫폼 벤치마크들 중 가장 접근성 좋은 AI벤치마크이긴 한데 얘도 결국 운영체제별로 api를 다른 걸 쓴다는 게 문제네요
라스트리스
그리고 실제로 SoC별로 성능이 제대로 측정이 안된다고 합니다 긱벤치AI로도 ㅠ
결국 긱벤치AI도 각 npu를 이용하기 위한 SDK를 통해서 NPU에 연산을 시키는거니, 이 SDK가 체계화가 안되어 있으면 별 수 없으니...
맥은 그래도 npu를 아이폰에서 a11바이오닉 시절부터 써와서 활용도가 높은데 윈도우는 음 이제 시작단계라
Apple 제품 말고는 사실상 NPU는 마케팅 장사질 결국 한넘이 코어 하드웨어부터 OS 소프트웨어까지 전부 다 철저하게 컨트롤해야 하드웨어 낭비 없이 완벽한 사용자 경험을 선사할 수 있는건데.. 조별과제는 답 없죠ㅜㅜ
M4 Max NPU 성능이 아이폰 18보다 못한거보면 맥에서 NPU쓰는곳이 거의 없어서 그런거 아닌가요
a18시리즈가 35 TOPs고 m4시리즈가 38TOPs인데 뭔소리
NPU는 도구일뿐이고 그 도구를 잘 쓰는 OS가 중요한거죠. NPU자체가 의미 있냐 없냐를 따지는건 딱히 논할거리는 아닌거 같군요
까는것 같은데 보면 빠는것 같은데..? 다이공간은 크기 늘리면 해결이잖아
다이사이즈 늘린다 = 웨이퍼당 칩 생산개수 감소 = 칩 가격 증가
npu 써먹을곳이 많으면 늘여야겠지만 아니면 낭비죠. 그공간에 cpu코어나 더 넣거나 원가 절감하거나..
지금도 다들 다이사이즈 줄이려고 혈안인데 여기서 더 커지면 생산비용 증가는 어떻게 감당하려고 그럼
뉴럴엔진이 실제로 동작하는걸 체감할 수 없으니… 하지만 전력효율이 스냅보다 높다면 그건 뉴럴엔진 덕분이라고 할 수 있으려나…?
카메라나 안면인식이나 사진앱에서 사진 자동분류되는거나 뉴럴엔진같은 NPU들은 소비자들이 쉽게 체감 못하는 부분에서 GPU대신 AI가속을 해주는 장치라. 지금 뉴럴엔진이 전담하고 있는 연산들을 GPU가 했으면 배터리 살살 녹았을거임.