EuroWire , SAN FRANCISCO : 26 stycznia Microsoft zaprezentował Maia 200, drugą generację swojego wewnętrznego akceleratora sztucznej inteligencji, stworzonego do uruchamiania modeli AI w środowisku produkcyjnym w centrach danych Azure. Firma poinformowała, że Maia 200 została zaprojektowana z myślą o wnioskowaniu, czyli etapie, na którym wyszkolone modele generują odpowiedzi na żądania w czasie rzeczywistym, i będzie wykorzystywana do obsługi szeregu usług Microsoft AI.
Maia 200 jest produkowana w 3-nanometrowym procesie technologicznym TSMC i zawiera ponad 140 miliardów tranzystorów, poinformował Microsoft . Pary chipów realizują obliczenia za pomocą nowego systemu pamięci, który obejmuje 216 gigabajtów pamięci HBM3e o dużej przepustowości i około 272 megabajtów wbudowanej pamięci SRAM, co ma na celu obsługę dużej skali generowania tokenów i innych zadań wymagających dużej inferencji.
Microsoft poinformował, że Maia 200 oferuje wydajność ponad 10 petaflopów przy precyzji 4-bitowej i około 5 petaflopów przy precyzji 8-bitowej – formaty powszechnie używane do wydajnego działania nowoczesnych, generatywnych rozwiązań AI . Firma poinformowała również, że system został zaprojektowany z myślą o mocy 750 watów i jest wyposażony w skalowalną sieć, co pozwala na łączenie układów w większych wdrożeniach.
Firma poinformowała, że nowy sprzęt zaczął być uruchamiany w centrum danych Azure US Central w stanie Iowa, a dodatkowa lokalizacja planowana jest w Arizonie. Microsoft określił Maia 200 jako swój najwydajniejszy system wnioskowania, jaki wdrożył do tej pory, odnotowując 30% poprawę wydajności w przeliczeniu na dolara w porównaniu z dotychczasowymi systemami wnioskowania.
Skupienie się na wnioskowaniu AI i wdrażaniu platformy Azure
Microsoft poinformował, że Maia 200 ma obsługiwać produkty i usługi AI, które opierają się na wykonywaniu modeli o dużej objętości i niskich opóźnieniach, w tym obciążeniach działających w Azure i aplikacjach Microsoftu. Firma poinformowała, że zaprojektowała układ i otaczający go system w ramach kompleksowego podejścia infrastrukturalnego, obejmującego krzem, serwery, sieć i oprogramowanie do wdrażania modeli AI na dużą skalę.
Oprócz układu, Microsoft ogłosił wczesny dostęp do zestawu narzędzi programistycznych Maia dla programistów i badaczy pracujących nad optymalizacją modeli. Firma poinformowała, że narzędzia te mają pomóc zespołom w kompilowaniu i dostrajaniu modeli dla systemów opartych na Maia i są skonstruowane tak, aby pasowały do typowych procesów rozwoju sztucznej inteligencji wykorzystywanych do wdrażania wnioskowania w chmurze.
Oświadczenia dotyczące wydajności i wsparcie modelu
Microsoft poinformował, że Maia 200 została zaprojektowana do obsługi dużych modeli językowych i zaawansowanych systemów wnioskowania, a także będzie wykorzystywana do wewnętrznych i hostowanych wdrożeń modeli w Azure. Firma pozycjonuje ten układ jako akcelerator wnioskowania produkcyjnego, odróżniając go od systemów ukierunkowanych na szkolenie, które zazwyczaj służą do budowania modeli przed wdrożeniem.
Microsoft przyspieszył prace nad niestandardowymi układami scalonymi w związku ze wzrostem zapotrzebowania na moc obliczeniową do obsługi generatywnych aplikacji AI, gdzie koszty i dostępność akceleratorów mogą wpływać na szybkość skalowania usług. Maia 200 jest następcą Maia 100, wprowadzonej przez Microsoft w 2023 roku, i stanowi najnowszą wersję dedykowanej linii akceleratorów AI do wnioskowania w centrach danych.
Artykuł Maia 200 wzbogaca platformę Microsoft Azure o nowy układ wnioskowania AI pojawił się po raz pierwszy w UK Roundup .