Large language models for text generation

Struktura kurzu

• Generativní umělá inteligence pro text a obrázky
• Evoluce jazykového modelování
• Transformery
• Typy transformerů pro jazykové modelování (encoder, decoder, encoder-decoder)
• Posilované učení s lidskou zpětnou vazbou (RLHF)
• Vybrané modely pro jazykové modelování založené na transformerech (BERT, GPT, LLAMA, T5, BART…)
• Praktický příklad na klasifikaci textů pomocí transformerů s využitím knihovny HuggingFace v prostředí Google Colab
• Prompt engineering: in-context learning, zero shot, one shot and few shot prompting, nejdůležitější konfigurační parametry generativních procesů
• Praktický příklad na in-context learning s využitím knihovny HuggingFace v prostředí Google Colab
• Fine-tuning velkých jazykových modelů a parameter-efficient fine-tuning (LoRA)
• Evaluace jazykových generativních modelů (ROUGE, BLEU)
• Praktický příklad na využití parameter-efficient fine-tuning s využitím knihovny HuggingFace v prostředí Google Colab
• Retrieval Augmented Generation (RAG)