Компания «Яндекс» опубликовала в открытом доступе самую большую GPT-подобную нейросеть

«Яндекс» опубликовала в открытом доступе самую большую GPT-подобную нейросеть, рассчитывая, что это даст толчок развитию генеративных нейросетей. Речь идет о нейросети YaLM 100B для генерации и обработки текстов на русском и английском языках, которая стала доступна разработчикам и исследователям со всего мира.

«YaLM 100В содержит 100 млрд параметров – больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире. Например, они способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео. С их помощью можно генерировать любые тексты (стихи, ответы, поздравления и так далее), а также классифицировать их, например, по стилю речи», – рассказали в «Яндексе».

В компании также отметили, что «Яндекс» задействует нейросети YaLM более чем в 20 своих проектах, включая голосовой помощник Алиса и поиск, где искусственный интеллект используется при подготовке быстрых ответов. При этом языковые модели генерируют сниппеты (описания сайтов) и рекламные объявления, а также помогают сотрудникам службы поддержки отвечать на обращения.

В заключение в компании пояснили, что модель обучали на суперкомпьютерах «Яндекса», признанными самыми мощными в Восточной Европе. В процессе обучения YaLM 100B обработала порядка 2 ТБ текстов из открытых датасетов и интернета на русском и английском языках. Теперь по открытой лицензии Apache 2.0 нейросеть доступна на GitHub.

Ранее iot.ru писал о вхождении «Яндекс.Такси» и «МТС Авто» в ассоциацию «Цифровой транспорт и логистика», члены которой работают над широким распространением лучших российских цифровых отраслевых решений.

Чтобы оперативно получать наши новости в удобном формате, подписывайтесь на наш Telegram-канал.