Člověk ve smyčce: Kde dohled stále záleží

Plně autonomní smyčka, běžící od začátku do konce bez zapojení člověka, není vždy cílem — a brát ji jako výchozí stav místo záměrné volby je jednou z častějších chyb při raném návrhu agentních systémů. Téměř každý produkční agent, který se dotýká něčeho nevratného — posílá peníze, odesílá e-mail, nasazuje kód — těží z toho, mít ve svém běhu někde kontrolní bod s člověkem.

Technický trik: pozastavení je totéž co checkpoint

State-graph runtimy umožňují běhu pozastavit se v definovaném uzlu, čekat na člověka bez časového omezení a poté pokračovat přesně ze stavu, kde skončil, aniž by se musel celý běh přehrávat od začátku. Stojí za to pochopit, že přerušovací uzel není speciální, přilepený hack; používá stejný mechanismus ukládání stavu do checkpointů, na který se runtime už spoléhá při zotavení z pádu. Pozastavení kvůli člověku a pozastavení kvůli tomu, že se proces musí po selhání restartovat, jsou mechanicky tentýž primitiv — což je to, co dělá prakticky možné, aby člověk odpovídal hodiny nebo i dny, aniž by systém cokoliv ztratil nebo musel začínat znovu.

Tři druhy kontrolního bodu

Ne každý kontrolní bod s člověkem hraje stejnou roli. Schvalovací bod je místo, kde člověk schválí nebo zamítne navrhovanou akci před jejím provedením — odeslání e-mailu, provedení obchodu, nasazení kódu — a nic se nestane, dokud toto schválení nepřijde. Editační bod je místo, kde člověk upraví navržený obsah nebo parametry agenta před pokračováním běhu, takže vstup člověka se stává součástí toho, co pokračuje, místo prostého ano/ne. Kontrolní bod (review) zpětně prověří výstup poté, co se už stal, a může vyvolat opakování běhu, pokud je něco špatně — užitečné pro dodatečnou kontrolu kvality dávky výstupů generovaných agentem tam, kde blokování každé jednotlivé položky v reálném čase není praktické.

Kde kontrolní bod umístit

Návrhová otázka nezní, zda vzory člověk-ve-smyčce vůbec používat, ale kde a jaký typ. Užitečná výchozí heuristika je umístit kontrolní bod u každého kroku, jehož důsledky se těžko vrací zpět a jehož chyba je nákladná — a zvolit schvalovací bod konkrétně tam, kde je akce sama binární a zásadní, editační bod tam, kde výstup těží spíš z lidského zpřesnění než z prostého zamítnutí, a kontrolní bod (review) tam, kde by blokování v reálném čase bylo nákladnější než skutečné riziko. Žádný z těchto tří nevyžaduje přestavbu samotného agenta; všechny tři jsou doplňkem k harness, ve kterém agent už běží.

Nejsilnější pravidlo, které aplikujeme napříč všemi zakázkami: autonomní oprávnění agenta ("allow") by nikdy nemělo pokrývat akci, která je nevratná, finančně významná nebo bezpečnostně citlivá, bez ohledu na to, jak dobře si agent doposud vedl. Takové akce zůstávají "ask" nebo "command-only" na základě politiky, ne na základě dosavadní úspěšnosti.