AWS prezentuje TorchNeuron do przenoszenia aplikacji AI na Trainium — TechCrunch

Amazon Web Services zaprezentował narzędzie TorchNeuron, przeznaczone do uruchamiania aplikacji AI na własnych chipach Trainium. Według TechCrunch deweloperzy będą mogli uruchamiać na Trainium aplikacje napisane z wykorzystaniem PyTorch, zmieniając jedną linię konfiguracji — bez przepisywania kodu programu.

TorchNeuron jest dostosowany do PyTorch, otwartego zestawu narzędzi do tworzenia, trenowania i uruchamiania modeli sztucznej inteligencji. Amazon twierdzi, że około 85% aplikacji AI jest napisanych z wykorzystaniem PyTorch. Framework ten został początkowo opracowany przez Facebooka, a od 2022 roku jest częścią Linux Foundation.

Konkurencja z Nvidią

AWS oświadczył, że dąży do zmniejszenia zależności deweloperów PyTorch od sprzętu Nvidii. Nvidia od lat zapewnia ścisłą kompatybilność swojego oprogramowania CUDA z PyTorch, w wyniku czego jej sprzęt stał się standardowym wyborem dla wielu aplikacji AI.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Użytkownicy PyTorch mogą już przenosić aplikacje na procesory graficzne AMD lub chipy Apple, zmieniając konfigurację. Jednocześnie AWS twierdzi, że Trainium oferuje nie tylko kompatybilność z PyTorch, ale także dostęp do całej infrastruktury chmurowej Amazon. Firma przeciwstawia to podejście wyspecjalizowanym dostawcom chmury, którzy w większości korzystają ze sprzętu Nvidii.

Trenowanie i inferencja

Wiceprezes ds. oprogramowania technologicznego w AWS Annapurna Labs, Colin Brace, powiedział, że Trainium może być używany zarówno do trenowania modeli, jak i do inferencji, czyli wykorzystania gotowego modelu do wykonywania zadań. Według niego może to poprawić ekonomię pełnego cyklu pracy z AI.

Brace poinformował również, że po przejściu na Trainium z natywną obsługą PyTorch serwis Deepgram przetwarza o 70% więcej audio na każdego wydanego dolara, przy zachowaniu dokładności na poziomie produkcyjnym. AWS oświadczył, że pracuje nad wprowadzeniem zmian do głównego projektu PyTorch, aby zmniejszyć przywiązanie frameworka do konkretnych chipów i uczynić go bardziej niezależnym od sprzętu.