Microsoft и Nvidia создали имитирующий человеческий язык искусственный интеллект с 530 млрд параметров

Вт 19 Октябрь 2021 06:33

Компании Nvidia и Microsoft анонсировали разработанную ими совместно крупнейшую на сегодняшний день языковую модель на архитектуре трансформер, получившую название Megatron-Turing Natural Language Generation (MT-NLG).

MT-NLG обладает в три раза большим количеством параметров по сравнению с предыдущей крупнейшей ИИ-системой GPT-3 (175 млрд). В число функций MT-NLG входят:

Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, Nvidia и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.

Статья уведена с www.securitylab.ru.

NetLan.ru жив уже 15 лет 310 дней 23 часа 36 минут 15 секунд
СМК NetLan (Nettlesome Landloper) — некоммерческий интернет-ресурс.
Весь данный интернет-ресурс и всё созданное или размещённое на нём используется в личных целях.