При изучения иностранного языка важно применять выученные слова на практике. Поэтому была сделана модель на основе llama2-7b с использованием QLoRa, которая генерировала бы текст по заданных пользователям параметрах (тема, кол-во предложений, уровень владения языком, слова, которые мы хотим тренировать читая текст)
Google Collab с работающей моделью https://github.com/b3GOR/Flang/blob/main/FLang.ipynb
А также словарь со списком изученных слов https://github.com/b3GOR/Flang/blob/main/dictionary.txt
Исходная модель была взята из данных ноутбуков после чего прошла fine-tunning https://github.com/MuhammadMoinFaisal/LargeLanguageModelsProjects/blob/main/Fine-Tune%20Llama%202/Fine_tune_Llama_2_in_Google_Colab.ipynb
И была загруженна на Hugging Face https://huggingface.co/b3G0R/FLang