Prečo Vaši AI agenti potrebujú sandbox (a čo práve spustil Cloudflare)

AI agent vygeneruje funkciu a aplikácia ju chce hneď spustiť. Kód však môže obsahovať chybu alebo operáciu, ktorú používateľ nemal povoliť. Potrebuje oddelené prostredie a presne určené oprávnenia. Cloudflare Dynamic Worker Loader ponúka takýto mechanizmus vo Workers.

Prečo nie kontajner

Kontajner môže poskytnúť potrebnú izoláciu aj knižnice, ktoré aplikácia používa. Pri krátkych úlohách vo veľkom objeme však treba odmerať čas štartu a náklady. Alternatívou je ľahšie prostredie založené na V8 izolátoch.

Voľbu určujú namerané požiadavky aplikácie, nie samotný počet používateľov.

Dynamic Workers

Cloudflare pri predstavení otvorenej bety opisuje dynamické vytvorenie Workera z kódu dodaného za behu. V8 izolát má oddelený kontext vykonávania. Aplikácia mu musí sprístupniť iba potrebné rozhrania a obmedziť sieťové spojenia.

Cloudflare uvádza rýchlejší štart a nižšiu pamäťovú náročnosť než pri typickom kontajneri. Sú to tvrdenia poskytovateľa. Prínos pre konkrétnu záťaž treba odmerať vrátane volaní modelu a externých API.

Samotný sandbox neodstráni chyby v povolených operáciách ani potrebu kontroly výstupu.

Prakticky to funguje tak, že Váš hlavný Worker príjme požiadavku, AI model vygeneruje TypeScript funkciu, Worker zavolá Dynamic Worker Loader, ten vytvorí V8 izolát, nahrá doň kód, spustí ho, vráti výsledok. Jednorazový izolát možno po úlohe zahodiť. Jeho prístupy závisia od konfigurácie a poskytnutých rozhraní.

Code Mode a prečo ma zaujal

Cloudflare ukazuje aj pattern, ktorý volajú Code Mode. Namiesto klasického tool callingu (model generuje JSON, runtime vykonáva, model analyzuje výsledok, volá ďalší tool) agent napíše jednu TypeScript funkciu, ktorá celý tok vykoná naraz.

Cloudflare opisuje úsporu tokenov v konkrétnej ukážke Code Mode. Nie je to záruka rovnakej úspory na fakturačnom procese.

Predstavte si, že agent dostane "vytvor faktúru v Stripe pre zákazníka X s položkami Y." Namiesto štyroch tool calls (nájdi zákazníka, vytvor položky, vytvor faktúru, pošli email) napíše jednu funkciu, čo to celé spraví v jednom behu. Menej roundtripov a menej tokenov. Odpoveď príde skôr.

Obmedzenia

Pre krátky generovaný kód Cloudflare odporúča JavaScript. Podľa jeho opisu Workers podporujú aj Python a WebAssembly. Pred výberom overte podporované knižnice, limity behov a spôsob prístupu k externým službám.

Cena je $0.002 za unikátny Worker za deň plus CPU a invokácie. Počas bety je odpustená.

Kam ideme s tým ďalej

Ak robíte s AI agentmi, ktorí generujú kód (a ak nie teraz, tak onedlho), otázka izolácie sa nedá obísť. Dynamic Workers sú jedna z odpovedí. Nie jediná, v niektorých prípadoch stále chcete kontajner, v iných generovaný kód vôbec nemusíte vykonávať. Záleží na tom, čo agent robí. A s akými dátami pracuje. Ak Vás zaujíma, kedy agent dáva zmysel a kedy stačí klasická automatizácia, napísali sme o tom aj v kontexte multi-model stratégií.

Ak staviate agenta, ktorý spúšťa cudzí kód, a chcete sa porozprávať o izolačnej architektúre, ozvite sa.