Google开源TorchTPU,以便在其AI芯片上运行PyTorch——TechCrunch
Google宣布开源TorchTPU项目,该项目使开发者能够在其Tensor Processing Units(TPU)芯片上运行基于PyTorch的应用程序。迁移至TPU和Google Cloud云平台时,只需更改配置,无需重写应用程序,TechCrunch报道。
Nvidia图形处理器的替代方案
PyTorch是一款广受欢迎的开源工具包,用于创建、训练和运行人工智能模型。据一些估计,它被用于85%的AI应用程序。Meta于2016年发起PyTorch的开发,并于2022年将该项目移交给Linux Foundation。
PyTorch的许多功能最初是面向Nvidia图形处理器开发的,而当时Nvidia图形处理器已经是人工智能研究的标准硬件。TorchTPU旨在简化Google替代芯片在此前面向Nvidia GPU的程序中的使用。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
Amazon也发布了自己的工具
一天前,Amazon推出TorchNeuron,这是一款可将PyTorch应用程序迁移至其自有Trainium AI芯片和AWS云端、且无需重写代码的工具。该公司还表示,将向PyTorch主项目贡献代码,以将部分功能与Nvidia芯片分离,并使其更易于在不同硬件上使用。
Google表示,正与Meta、Hugging Face、vLLM开发商Inferact、SGLang开发商RadixArk以及其他市场参与者合作,以确保TorchTPU与热门开发工具兼容。该公司还推出了用于迁移应用程序和修复错误的TPU agent suite,并对LiteRT工具进行了调整,以便其更好地支持在手机、笔记本电脑和嵌入式设备上运行PyTorch AI应用程序。