Verbalized Sampling rozšíri návrhy, nenahradí zadanie

Pri brainstormingu od modelu často potrebujete viac odlišných návrhov. Jedna uhladená odpoveď nestačí, ak chcete porovnať rôzne prístupy. Štúdia Verbalized Sampling skúma, či pomôže požiadať model o viac odpovedí spolu s ich pravdepodobnosťami.

Požiadajte o varianty, ktoré viete porovnať

Princíp môžete vyskúšať jednoduchým zadaním.

"Vygeneruj 5 odpovedí s ich pravdepodobnosťami."

Je to modelový prompt, nie citácia zo štúdie. Autori skúmajú rozmanitosť odpovedí pri tvorivom písaní aj pri ďalších otvorených úlohách. Výsledky ich experimentov nie sú zárukou rovnakého zlepšenia na Vašom modeli a texte.

Pravdepodobnosť napísaná v odpovedi zároveň nie je dôkaz pravdivosti ani dôvod vybrať najvyššie číslo. Návrhy treba posúdiť podľa zadania. Pri úvode článku sa pýtajte, ktorý z nich čitateľovi najrýchlejšie vysvetlí jeho situáciu a čo mu text pomôže vyriešiť.

Stručná fráza nenahradí podmienky úlohy

Pri návrhoch titulkov má rozmanitosť hodnotu. Pri faktúre, právnom texte alebo zmene kódu potrebujete predovšetkým správnosť a jasné obmedzenia. Zo štúdie preto nevyplýva, že môžete zahodiť pravidlá pre citácie alebo požiadavky na výstup.

Ak chcete techniku porovnať s bežným promptom, nechajte rovnaký model spracovať to isté zadanie oboma spôsobmi. Hodnoťte použiteľnosť návrhov a čas výberu. Viac odpovedí môže znamenať aj viac čítania a nákladov.

Pri návrhu AI automatizácie vyberáme postup podľa konkrétnej úlohy. O tom, kedy má zmysel nechať model pokračovať v ďalších kolách kontroly, píšeme v článku o Gauntlet Loop.