Huawei представила архітектуру для роботи до мільйона ШІ-чипів — Live Science
Huawei представила архітектуру Peerium, яка, за заявою компанії, у перспективі дасть змогу об’єднати до мільйона чипів для штучного інтелекту в одну обчислювальну систему. Розробку презентували 17 вересня на щорічній конференції Huawei CONNECT, повідомляє Live Science.
Зазвичай чипи для навчання базових ШІ-моделей розміщують на окремих серверах, які передають дані мережею та розподіляють обчислювальні завдання. За даними Huawei, Peerium має підтримувати швидкий обмін даними між чипами в кількох серверних стійках навіть після масштабування системи до сотень тисяч пристроїв.
Три складові Peerium
У Huawei заявили, що архітектура спирається на вкладений паралелізм, уніфіковану адресацію пам’яті та прямі з’єднання між компонентами. Вкладений паралелізм дає змогу розбивати великі обчислювальні завдання на менші та розподіляти їх між ієрархічними групами чипів, які працюють паралельно.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Уніфікована адресація пам’яті має дозволити процесорам отримувати доступ до пам’яті інших серверів, а не лише власного. Прямі з’єднання між компонентами, своєю чергою, мають забезпечити обмін даними без проміжних ланок. За твердженням Huawei, ці підходи мають допомогти ефективніше використовувати обчислювальні ресурси для навчання та інференсу ШІ-моделей.
Технологія UnifiedBus
Для Peerium Huawei розробила власну технологію з’єднання UnifiedBus. Ротаційний голова компанії Ерік Сюй заявив Associated Press, що її пропускна здатність між серверними стійками може сягати 800 ГБ за секунду. Для порівняння, він навів показник 200 ГБ за секунду для конфігурації з NVLink усередині стійок та InfiniBand між ними.
Представники Huawei також заявили, що системи на базі Peerium зможуть навчати моделі з кількістю до 40 трильйонів параметрів. Компанія одночасно анонсувала Atlas 950 SuperPoD — систему з понад 8 тисячами ШІ-прискорювачів Ascend 950DT. Huawei очікує почати постачання SuperPoD не пізніше початку наступного року. Один SuperCluster на 256 тисяч обчислювальних карток, за даними компанії, вже розгортають і тестують.
