Казахстан разработает свою языковую модель

16.07.2024 07:34 Экономика

На заседании правительства министры науки и высшего образования Саясат Нурбек рассказал о разработке новой языковой модели — KazLLM. Глава правительства поручил министру завершить сбор данных для KazLLM до конца текущего года и провести тренировку первой модели уже в III квартале текущего года, передает наш сайт.

По данным Саясата Нурбека, в рамках исполнения поручений Президента по развитию искусственного интеллекта Министерство проводит работу по 3 основным направлениям.

Первое направление — для сбора данных Министерством сформирован консорциум по программе "Создание современной большой языковой модели (LLM)". В консорциум входят Институт информационных и вычислительных технологий, Сатпаев Университет, Назарбаев Университет, ННПЦ "Тіл-Қазына" имени Ш.Шаяхметова, Институт языкознания им. А. Байтурсынова и КазНУ.

На данный момент передано 957 187 813 словоупотреблений. По программе целевого финансирования данного проекта Министерством объявлен конкурс на общую сумму 3,9 млрд тенге.

Для наполнения массивов данных для "KazLLM" консорциумом, вузами и государственными органами ведётся передача данных в информационно-аналитическую систему "Smart Data Ukimet".

Как было отмечено в правительстве, в результате общего сбора данных будет создана высококачественная модель обработки казахского языка. В будущем это поможет не только улучшить автоматический перевод, но и повысить качество и точность обработки текстов на казахском языке в целом.

Второе направление — подготовка кадров. Сегодня 17 вузами внедрены 15 образовательных программ по ИИ, такие как: "Прикладной искусственный интеллект", "Инженерия ИИ и блокчейн", "Кибернетика и ИИ", "ИИ в медицине" и другие. Обучается 2196 студентов, из которых 2091 бакалавров, 82 магистранта и 23 докторанта.

Третье направление — оснащение суперкомпьютерами. Суперкомпьютер имеется в КазНИТУ имени К.И. Сатпаева. Планируется обновление вычислительного кластера до 20 ТФЛОПС в 2024-2026 годах. Также в 2015 году суперкомпьютер PARAM BILIM производительностью 10 ТФлопс был передан ЕНУ имени Л.Н. Гумилева. Он был модернизирован до 100 ТФЛОПС. Подписано соглашение между Китаем и КазНУ им. Аль-Фараби о поставке осенью текущего года суперкомпьютера мощностью 1.94 PFLOPS. Общая мощность всех суперкомпьютеров достигает порядка 2 PFLOPS.