Google udostępniło kod TorchTPU do uruchamiania PyTorch na swoich chipach AI — TechCrunch

Google ogłosiło udostępnienie kodu projektu TorchTPU, który umożliwia deweloperom uruchamianie aplikacji opartych na PyTorch na jego układach Tensor Processing Units (TPU). Aby przenieść aplikację na TPU i platformę chmurową Google Cloud, wystarczy zmienić konfigurację, bez przepisywania aplikacji — informuje TechCrunch.

Alternatywa dla procesorów graficznych Nvidia

PyTorch to popularny otwartoźródłowy zestaw narzędzi do tworzenia, trenowania i uruchamiania modeli sztucznej inteligencji. Według niektórych szacunków jest wykorzystywany w 85% aplikacji AI. Rozwój PyTorch zapoczątkowała Meta w 2016 roku, a w 2022 roku przekazała projekt Linux Foundation.

Wiele funkcji PyTorch początkowo tworzono z myślą o procesorach graficznych Nvidia, które już wtedy były standardowym sprzętem do badań nad sztuczną inteligencją. TorchTPU ma uprościć wykorzystanie alternatywnych chipów Google w programach, które wcześniej były ukierunkowane na GPU Nvidia.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Amazon również wypuścił własne narzędzie

Dzień wcześniej Amazon zaprezentował TorchNeuron — narzędzie do przenoszenia aplikacji PyTorch na własne chipy AI Trainium oraz do chmury AWS bez przepisywania kodu. Firma oświadczyła również, że przekaże do głównego projektu PyTorch kod, który oddziela poszczególne funkcje od chipów Nvidia i czyni je bardziej dostępnymi dla różnego sprzętu.

Google poinformowało o współpracy z Meta, Hugging Face, Inferact — twórcą vLLM, RadixArk — twórcą SGLang, oraz innymi uczestnikami rynku, aby zapewnić zgodność TorchTPU z popularnymi narzędziami programistycznymi. Firma uruchomiła także TPU agent suite do przenoszenia aplikacji i naprawiania błędów, a narzędzie LiteRT dostosowała do lepszej pracy z aplikacjami AI PyTorch na telefonach, laptopach i urządzeniach wbudowanych.