KazLLM нейрожелісі қалай жасалды?
KazLLM – қазақ тілінде мәтіндерді түсініп, өңдеп, генерациялай алатын нейрожелі, деп хабарлайды BAQ.KZ.
Модель аударма жасау, құжаттарды сұрыптау және диалогты автоматтандыру сынды түрлі тапсырмаларды орындай алады.
KazLLM мен ChatGPT-нің негізгі айырмашылығы – жаңа модельдің қазақ тілі мен ұлттық ерекшелікке бағытталуы. Ол қазақ грамматикасын, мәдениетін және тарихи мәліметтерін ескере отырып жұмыс істейді, – делінген министрліктің ресми жауабында.
KazLLM жобасы қалай жасалды?
Жоба жұмысы 2024 жылғы сәуірде басталған. Қазіргі уақытта Қазақстанда мұндай ірі тілдік модельді оқытуға мүмкіндік беретін серверлік инфрақұрылым жоқ болғандықтан, әзірлеушілер бұлтты провайдерлердің қызметіне жүгінген.
Жиналған ақпараттың шамамен 95 пайызы ашық дереккөздерден алынған. Бұған қоса, мәліметтер аударма арқылы толықтырылған. Команда құрамында машиналық оқыту саласындағы инженерлермен қатар кәсіби лингвистер де бар. Олар модельді тілдік тұрғыдан жетілдіруге атсалысқан.
150 миллиардтан астам токен
Нәтижесінде 150 миллиардтан астам токен (бірлік дерек) жиналған. Токен – негізінен бір сөзді білдіреді. Ірі тілдік модельдердің параметрлері трансформер архитектурасы негізінде құрылады және миллиардтаған параметрді қажет етеді.
Қазіргі таңда команда 8 миллиардтық және 70 миллиардтық екі түрлі модельмен жұмыс істеп жатыр. Бұл – ең ірілері емес. Мәселен, OpenAI әзірлеген GPT моделі шамамен 1 триллион параметрге, ал Meta-ның LLaMA моделі 405 миллиард параметрге ие.
Алғашқы кезеңдегі шектеулер
KazLLM – Қазақстанда әзірленген тұңғыш қазақтілді ірі нейрожелі. Бұл модельдің негізгі мақсаты – қазақ тілін цифрлық әлемге бейімдеу.
Дегенмен, жобаның бастапқы даму кезеңінде бірнеше кедергі болған:
Жергілікті инфрақұрылымның әлсіздігі;
Деректердің аздығы мен сапасы;
Ең бастысы — суперкомпьютердің болмауы.
Осыған байланысты KazLLM шетелдік серверлерде өңделіп, ақпараттық қауіпсіздік пен дербестік мәселесін өзекті етті.