아마존, AWS Trainium 칩을 위한 PyTorch 기반 오픈 소스 툴킷 "TorchNeuron" 공개.

핵심 요약

아마존은 개발자들이 최소한의 코드 변경으로 AWS Trainium 칩에서 PyTorch 워크로드를 실행할 수 있도록 지원하는 오픈 소스 툴킷인 TorchNeuron을 발표했습니다. 이 툴킷은 최신 Trainium2 및 Trainium3 가속기를 지원하며, 이 가속기들은 학습 및 추론 작업을 모두 처리할 수 있습니다. Trainium3은 8개의 처리 코어를 가지고 있으며, 각 코어는 AI 모델 처리 과정에서 사용되는 다양한 데이터 세트에 최적화된 4개의 모듈을 포함합니다. 또한, 154기가바이트의 온보드 모델 메모리를 탑재하고 있습니다. AWS의 맞춤형 서버는 각 서버당 최대 144개의 Trainium3 가속기를 호스팅할 수 있으며, AI 모델에서 널리 사용되는 MXFP8 데이터 형식을 처리할 때 최대 362조 회의 연산 처리 속도를 달성할 수 있습니다. 이 툴킷은 또한 Fully Sharded Data Parallelism (FSDP)을 사용하여 가속기를 통해 분산 학습을 수행하는 오픈 소스 도구인 TorchTitan을 지원합니다. 초기 사용자로는 Cartesia AI와 Lieber Institute for Brain Development가 있습니다. TorchNeuron은 캘리포니아주 산호세에서 열리는 PyTorch 컨퍼런스의 첫날인 화요일에 오픈 소스로 공개될 예정입니다.