ISTQB® Certified Tester AI Testing (CT-AI)

Cílová skupina

Tento program je ideální pro softwarové testery, test analytiky a softwarové inženýry zapojené do systémů založených na umělé inteligenci nebo využívající AI při testování. Je také vhodný pro projektové manažery, manažery kvality a business analytiky, kteří chtějí získat základní porozumění technikám a výzvám spojeným s testováním AI. Pokud chcete zajistit vysokou kvalitu AI systémů a zároveň si udržet náskok v rychle se vyvíjející oblasti softwarového testování, je toto školení určeno právě vám.

Struktura kurzu

1. ÚVOD DO AI

1.1 Definice AI a efekt AI
1.2 Úzká, obecná a super AI
1.3 AI systémy vs. konvenční systémy
1.4 AI technologie
1.5 Vývojové frameworky AI
1.6 Hardware pro AI systémy
1.7 AI jako služba (AIaaS)

• 1.7.1 Smlouvy pro AI jako službu
• 1.7.2 Příklady AIaaS
  1.8 Předtrénované modely
• 1.8.1 Úvod do předtrénovaných modelů
• 1.8.2 Transfer learning
• 1.8.3 Rizika použití předtrénovaných modelů a transfer learningu
  1.9 Standardy, regulace a AI

2. KVALITATIVNÍ CHARAKTERISTIKY AI SYSTÉMŮ

2.1 Flexibilita a adaptabilita
2.2 Autonomie
2.3 Evoluce
2.4 Bias (zkreslení)
2.5 Etika
2.6 Vedlejší efekty a reward hacking
2.7 Transparentnost, interpretovatelnost a vysvětlitelnost
2.8 Bezpečnost a AI

3. STROJOVÉ UČENÍ (ML) – PŘEHLED

3.1 Formy ML

• 3.1.1 Učení s učitelem (supervised learning)
• 3.1.2 Učení bez učitele (unsupervised learning)
• 3.1.3 Reinforcement learning

3.2 ML workflow
3.3 Výběr formy ML
3.4 Faktory výběru algoritmů ML
3.5 Overfitting a underfitting

• 3.5.1 Overfitting
• 3.5.2 Underfitting
• 3.5.3 Praktické cvičení: demonstrace overfittingu a underfittingu

4. ML – DATA

4.1 Příprava dat v ML workflow

• 4.1.1 Výzvy při přípravě dat
• 4.1.2 Praktické cvičení: příprava dat pro ML

4.2 Trénovací, validační a testovací datasety

• 4.2.1 Praktické cvičení: identifikace dat a vytvoření ML modelu

4.3 Problémy kvality datasetů
4.4 Kvalita dat a její vliv na ML model
4.5 Labelování dat pro supervised learning

• 4.5.1 Přístupy k labelování dat
• 4.5.2 Špatně označená data v datasetech**

5. ML – METRIKY FUNKČNÍHO VÝKONU

5.1 Matice záměn (Confusion Matrix)
5.2 Další metriky ML pro klasifikaci, regresi a shlukování
5.3 Omezení metrik funkčního výkonu ML
5.4 Výběr metrik ML výkonu

• 5.4.1 Praktické cvičení: vyhodnocení vytvořeného ML modelu

5.5 Benchmarkovací sady pro ML

6. ML – NEURONOVÉ SÍTĚ A TESTOVÁNÍ

6.1 Neuronové sítě

• 6.1.1 Praktické cvičení: implementace jednoduchého perceptronu

6.2 Míry pokrytí neuronových sítí

7. TESTOVÁNÍ AI SYSTÉMŮ – PŘEHLED

7.1 Specifikace AI systémů
7.2 Úrovně testování AI systémů

• 7.2.1 Testování vstupních dat
• 7.2.2 Testování ML modelu
• 7.2.3 Testování komponent
• 7.2.4 Integrační testování komponent
• 7.2.5 Systémové testování
• 7.2.6 Akceptační testování

7.3 Testovací data pro AI systémy
7.4 Testování automatizačního biasu v AI systémech
7.5 Dokumentace AI komponenty
7.6 Testování koncept driftu
7.7 Výběr testovacího přístupu pro ML systém

8. TESTOVÁNÍ AI SPECIFICKÝCH KVALITATIVNÍCH CHARAKTERISTIK

8.1 Výzvy testování samo-učících se systémů
8.2 Testování autonomních AI systémů
8.3 Testování algoritmického, vzorkovacího a nevhodného biasu
8.4 Výzvy testování pravděpodobnostních a nelineárních AI systémů
8.5 Výzvy testování komplexních AI systémů
8.6 Testování transparentnosti, interpretovatelnosti a vysvětlitelnosti AI systémů

• 8.6.1 Praktické cvičení: vysvětlitelnost modelu

8.7 Testovací orákula pro AI systémy
8.8 Cíle testování a akceptační kritéria