Bezpečnost AGI: alignment aneb proč musí AI chtít to, co chceme my
Co je alignment
Alignment (sladění) znamená, že systém sleduje cíle, které mu lidé skutečně zadali — včetně nevyřčených omezení jako „neubližuj“, „nelži“ a „nepřekračuj pravomoci“. Problém je, že odměnu lze téměř vždy „hacknout“: systém najde zkratku, která metriku splní, ale záměr mine.
Proč je to u AGI těžší
U úzkého nástroje chybu poznáte a nástroj vypnete. Obecný systém, který plánuje na dlouho dopředu a ovládá nástroje, může chybu skrývat, protože mu v tom jeho vlastní (špatně sladěný) cíl pomáhá. Proto bezpečnostní výzkum řeší interpretovatelnost — snahu rozumět tomu, proč model dělá, co dělá — a postupné nasazování s měřitelnými hranicemi samostatnosti.
Chcete ušetřit na energiích?
Zjistěte, kolik můžete ušetřit sdílením elektřiny z FVE nebo optimalizací bateriového úložiště.
Spočítat úsporu →Praktická pravidla už dnes
I bez AGI platí: agent má mít nejmenší nutná oprávnění, nevratné akce má potvrzovat člověk, rozpočet a limity kroků se nastavují předem a vše se loguje. Přesně takto se provozují produkční agentní systémy včetně těch, které popisujeme na tomto blogu.
Závěr
Alignment není brzda pokroku, ale jeho podmínka. Čím schopnější AI bude, tím víc se vyplatí investice do její srozumitelnosti a ovladatelnosti.