마이크로소프트, 2.8조 개의 파라미터를 가진 MAI-Base-2 기반 모델 공개.

핵심 요약

마이크로소프트는 MAI-Base-2라는 새로운 기초 모델을 출시했습니다. 이 모델은 사전 훈련을 거친 후, 추가 훈련을 통해 특정 분야에 특화된 모델로 활용될 수 있도록 설계되었습니다. MAI-Base-2는 총 2.8조 개의 파라미터를 가지고 있으며, 활성 파라미터는 800억 개입니다. 이는 이전 모델인 MAI-Base-1이 가진 총 1조 개의 파라미터와 350억 개의 활성 파라미터보다 증가된 수치입니다. 마이크로소프트는 데이터 양, 데이터 품질, 그리고 컴퓨팅 자원 측면에서 경쟁사들과 동등한 수준에 도달하기 위해 모델의 규모를 확장하는 것이 필요했다고 밝혔습니다. 이 모델은 약 16,000개의 GB200 유닛을 사용하여 38일 동안 훈련되었습니다. 회사에 따르면, MAI-Base-2는 MAI-Base-1보다 성능이 뛰어나며, DeepSeek-V4-Pro-Base와 같은 중국의 공개 모델, 그리고 Kimi K3, Qwen3.8-2.4T-A95B, MiMo-V2.6-Pro-RL과 같은 추가 훈련된 공개 모델보다 우수한 성능을 보입니다. 마이크로소프트는 이러한 높은 품질과 낮은 비용을 모델 전체 파이프라인을 관리하고 자체 인프라를 보유함으로써 달성했다고 설명합니다. MAI-Base-2에서 파생된 모델들은 다른 마이크로소프트 제품에 통합될 예정이며, 고객들에게 임대 형태로 제공될 것입니다.