Jak se AI učí: data, trénink a zpětná vazba bez složitých vzorců

Fáze 1: Předtrénování

Model čte obrovské množství textu a učí se předpovídat další slovo. Tím si buduje statistický obraz jazyka i světa: gramatiku, fakta, styly i základy logiky. Je to nejdražší fáze — týdny výpočtů na tisících grafických karet.

Fáze 2: Doladění na instrukce

Surový model umí pokračovat v textu, ale ne nutně odpovídat na otázky. Doladění na příkladech „otázka → dobrá odpověď“ z něj udělá asistenta, který chápe zadání a drží formát.

Fáze 3: Zpětná vazba (RLHF)

Lidé (a čím dál častěji i jiné modely) hodnotí, která ze dvou odpovědí je lepší. Model se pak posouvá k odpovědím užitečným, pravdivým a bezpečným. Právě tahle fáze dělá rozdíl mezi „umí text“ a „chová se slušně“.

Proč model přesto chybuje

Model svět neprožívá, jen ho napodobuje ze záznamů. Nemá jistotu, jen pravděpodobnost. Proto je u důležitých věcí potřeba ověřování zdroji a nástroji — což je hlavní důvod vzniku agentních systémů, které si fakta dohledávají, místo aby je hádaly.

Zdroje a studie

• Attention Is All You Need (Vaswani et al., arXiv:1706.03762)
• Scaling Laws for Neural Language Models (Kaplan et al., arXiv:2001.08361)
• Training language models to follow instructions with human feedback — InstructGPT (Ouyang et al., arXiv:2203.02155)