AWS представила TorchNeuron для переноса ИИ-приложений на Trainium — TechCrunch
Amazon Web Services представила инструмент TorchNeuron, предназначенный для запуска ИИ-приложений на собственных чипах Trainium. По данным TechCrunch, разработчики смогут запускать на Trainium приложения, написанные с использованием PyTorch, изменив одну строку конфигурации — без переписывания программного кода.
TorchNeuron адаптирован для PyTorch — открытого набора инструментов для создания, обучения и запуска моделей искусственного интеллекта. Amazon утверждает, что около 85% ИИ-приложений написаны с использованием PyTorch. Изначально этот фреймворк разработала Facebook, а с 2022 года он является частью Linux Foundation.
Конкуренция с Nvidia
AWS заявила, что стремится уменьшить зависимость разработчиков PyTorch от оборудования Nvidia. Nvidia годами обеспечивала тесную совместимость своего программного обеспечения CUDA с PyTorch, вследствие чего ее оборудование стало стандартным выбором для многих ИИ-приложений.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Пользователи PyTorch уже могут переносить приложения на графические процессоры AMD или чипы Apple, изменив конфигурацию. В то же время AWS утверждает, что Trainium предлагает не только совместимость с PyTorch, но и доступ ко всей облачной инфраструктуре Amazon. Компания противопоставляет этот подход специализированным облачным провайдерам, которые в основном используют оборудование Nvidia.
Обучение и инференс
Вице-президент по технологическому программному обеспечению AWS Annapurna Labs Колин Брейс заявил, что Trainium может использоваться как для обучения моделей, так и для инференса, то есть применения готовой модели для выполнения задач. По его словам, это может улучшить экономику полного цикла работы с ИИ.
Брейс также сообщил, что сервис Deepgram после перехода на Trainium с нативной поддержкой PyTorch обрабатывает на 70% больше аудио на каждый потраченный доллар при сохранении точности производственного уровня. AWS заявила, что работает над внесением изменений в основной проект PyTorch, чтобы уменьшить привязку фреймворка к конкретным чипам и сделать его более независимым от оборудования.
