Сбер выложил в открытый доступ свои AI-технологии: код и веса теперь доступны всем пользователям
В открытом доступе появились базовая и инструктивная версии самой быстрой модели GigaChat Lite и самая сильная, согласно бенчмарку ruMTEB, модель на русском языке GigaEmbeddings-instruct. Также большое обновление получило семейство open-source моделей машинного обучения для распознавания речи и эмоций GigaAM (Giga Acoustic Model), рассказал технический директор GigaChat Федор Минькин на международной конференции AI Journey («Путешествие в мир искусственного интеллекта»).
В новой версии акустических моделей GigaAM улучшены подготовка данных и технология предобучения базовой модели. За счёт этого удалось значительно снизить количество ошибок в словах (Word Error Rate) при распознавании русскоязычных запросов. Для самой сильной модели семейства GigaAM-RNNT этот показатель улучшен на 25% относительно предыдущей версии и на 56% превосходит OpenAI-Whisper-large-v3.
Кроме того, за счёт перехода на другое позиционное кодирование, обновлённая линейка моделей GigaAM поддерживает дообучение и инференс с Flash Attention, что дает существенное ускорение на современных видеокартах. Для повышения доступности использования моделей команда упростила код, снизила число зависимостей и подготовила конвертацию в формат ONNX (открытая библиотека программного обеспечения). Новые модели публикуются с лицензией MIT, что допускает их коммерческое использование.
Разработчикам и бизнесу также стали доступны в open-source базовая и инструктивная версии GigaChat Lite. Эта модель очень сильная в своем классе, она отлично справляется с решением типовых задач, где важна скорость. Архитектура Lite 20B MoE (Mixture-of-Experts) с 3.3B активных параметров, при этом качество её работы соответствует уровню более мощных моделей.
Ещё одна модель, которую выложили в open-source — GigaEmbeddings-instruct — преобразует текст в его числовое представление (вектор), кодируя всю информацию, содержащуюся в запросе. Она подходит для решения задач с применением технологии RAG (Retrieval Augmented Generation). GigaEmbeddings-instruct является лучшей в своем классе по данным бенчмарка ruMTEB.
Вся линейка больших языковых моделей, в том числе самая мощная GigaChat MAX, уже доступны бизнесу через облачный API. Теперь самую быструю модель из семейства — GigaChat Lite — можно использовать в своих проектах в открытом доступе, а также присоединиться к исследованию по ее интерпретируемости. Также российское AI-сообщество сможет экспериментировать с GigaEmbeddings-instruct и GigaAM, которые не требуют больших вычислительных мощностей.
ПАО Сбербанк — один из крупнейших банков в России и один из ведущих глобальных финансовых институтов. На долю Сбербанка приходится около трети активов всего российского банковского сектора. Сбербанк является ключевым кредитором для национальной экономики и занимает одну из крупнейших долей на рынке вкладов. Основным акционером ПАО Сбербанк является Российская Федерация в лице Министерства финансов Российской Федерации, владеющая 50% уставного капитала ПАО Сбербанк плюс 1 голосующая акция. Оставшимися 50% минус 1 голосующая акция от уставного капитала банка владеют российские и международные инвесторы. Генеральная лицензия Банка России на осуществление банковских операций № 1481 от 11.08.2015. Официальные сайты банка: www.sberbank.com (сайт Группы Сбербанк), www.sberbank.ru.