VK представила новую версию собственной языковой модели Diona, рассчитанную на генерацию и обработку текстов

VK представила новую версию собственной языковой модели Diona, рассчитанную на генерацию и обработку текстов. Как сообщили в компании, новая Diona отличается увеличенным числом параметров — от 4 до 30 млрд, что в 1,5 раза больше, чем у предыдущей версии, а также требует меньше ресурсов для работы, что позволило снизить нагрузку на инфраструктуру и ускорить внутренние процессы. По оценкам экспертов, инвестиции в разработку могли составить 500-800 млн рублей.

Новая модель обучалась как на собственных данных VK, включая пользовательский контент и комментарии из открытых групп, так и на больших объемах новых текстов. Diona предназначена для улучшения внутренних инструментов и генеративных возможностей в продуктах VK, уверяют разработчики. Модель лучше справляется с инженерными задачами, генерацией и суммаризацией текстов, а объем контекста теперь достиг 32 тыс. токенов, что в восемь раз больше, чем раньше.

Эксперты отмечают, что модель среднего класса с таким количеством параметров оптимально подходит для запуска на массовых видеокартах и серверных GPU, однако до «прорывных» моделей с сотнями миллиардов параметров ей еще далеко. В перспективе VK планирует сделать Diona мультимодальной, добавив возможности анализа видео, аудио и изображений, а также усилить рекомендательные и поисковые алгоритмы во всех сервисах холдинга.

По мнению аналитиков, переход к мультимодальности возможен через 2-3 года по мере появления более эффективных архитектур и доступного оборудования.

www.kommersant.ru/doc/8180695