Surface Laptop Ultra의 로컬 LLM 실행 성능 평가

핵심 요약

NVIDIA는 미국에서 RTX Spark PC 제품군을 출시하며, Tegra 및 Surface RT 시대 이후 소비자 PC 시장에 새로운 제품을 선보였습니다. Microsoft의 Surface Laptop Ultra를 포함하여 다양한 제조업체의 제품에 대한 리뷰가 여러 매체를 통해 시작되었습니다.

The New Stack은 Surface Laptop Ultra에 대한 특정 테스트를 진행했으며, RTX Spark 플랫폼의 주요 특징인 로컬 환경에서의 대규모 언어 모델(LLM) 실행에 초점을 맞췄습니다. 리뷰에서는 Microsoft에서 제공한 64GB RAM을 탑재한 제품을 사용했으며, 128GB 모델도 존재하므로 현재 사용된 사양이 최고 사양은 아니라고 언급했습니다.

장치가 전원에 연결된 상태에서 다양한 모델의 성능 결과를 기록했습니다.

리뷰에서는 장치를 전원에서 분리하면 성능이 크게 저하된다는 점을 강조했습니다. 예를 들어, 4비트 양자화된 Qwen 3.8은 초당 18개의 토큰으로, Nemotron 3.5 Bolt은 초당 42-45개의 토큰으로 떨어졌으며, 이는 전체적으로 약 20%의 성능 감소를 의미합니다.

또한, 열 관리 문제도 논의되었습니다. Surface Laptop Ultra는 대규모 언어 모델을 실행할 때 팬이 최고 속도로 회전하며 상당한 소음을 발생시키는 반면, 일반적인 사용 시에는 조용합니다. 따라서, The New Stack은 모델 실행을 위한 최대 RTX 성능을 원하는 사용자에게는 Surface RTX Spark Dev Box 데스크톱이 더 나은 대안이 될 수 있다고 제안했습니다. Dev Box는 우수한 냉각 설계를 갖추고 있기 때문입니다.

마지막으로, RAM 제한에 대한 내용도 다루어졌습니다. 대부분의 사용 가능한 모델이 27B에서 30B 파라미터 범위를 가지므로, 64GB RAM만으로는 몇몇 모델만 실행할 수 있습니다. 사용자는 128GB RAM 구성으로 업그레이드할 수 있지만, 이는 약 5,900달러(약 200,000 태국 바트)의 추가 비용이 발생합니다.

주요 내용

• Nemotron 3.5 Bolt (9B): NVIDIA에서 RTX Spark의 로컬 에이전트 작업에 맞춰 출시한 새로운 모델로, 초당 56-60개의 토큰을 처리했습니다.
• Qwen 3.8 (27B): 8비트 양자화 시 초당 8-9개의 토큰, 4비트 양자화 시 초당 25-28개의 토큰을 처리했습니다.
• Gemma 4 26B-A4B: 8비트 양자화 시 초당 40개의 토큰을 처리했습니다. The New Stack은 이 속도를 모델의 Mixture-of-Experts (MoE) 아키텍처로 설명했습니다.