Egy vállalati AI-folyamat költségét jelentősen befolyásolhatja, hogy melyik feladatot milyen modellre bízzuk. Ha minden apró döntéshez ugyanazt a nagy teljesítményű nyelvi modellt használjuk, olyan lépésekre is sok erőforrást fordíthatunk, amelyek egyszerűbben megoldhatók. A tudatosan megtervezett döntési réteg költséghatékonyabb, gyorsabb és jobban követhető működést tehet lehetővé.
Egy AI-folyamatban a tényleges válaszadás előtt is számos döntés születik. Szükség van-e belső dokumentumokra? Melyik AI agent vagy eszköz végezze el a feladatot? Elég egy kisebb modell, vagy összetettebb következtetésre van szükség? Mikor kell emberi ellenőrzést kérni?
Ezek a döntések meghatározzák a folyamat további útját. Ha mindegyiket egy erős, általános célú nyelvi modellre bízzuk, az növelheti a költséget és a válaszidőt akkor is, ha maga a döntés viszonylag egyszerű.
Gyors döntések és összetett következtetések
Daniel Kahneman System 1 / System 2 felosztása hasznos analógia lehet az AI-folyamatok tervezéséhez. Itt a hasonlat kétféle feladat elkülönítését segíti: a gyors, strukturált besorolásét és a mélyebb mérlegelést igénylő problémamegoldásét.
A gyors döntési réteg olyan kérdésekre adhat választ, mint:
Szükséges-e dokumentumkeresés a válaszhoz?
Melyik modellhez kerüljön a kérés?
Melyik AI agentet vagy eszközt kell bevonni?
Indokolt-e emberi ellenőrzés?
Ezeknél a lépéseknél előre meghatározhatók a lehetséges kimenetek. A rendszer feladata ilyenkor a kérés besorolása, a lehetséges útvonalak értékelése és a megfelelő következő lépés kijelölése.
Az összetettebb következtetésre képes, úgynevezett reasoning modell pedig azoknál a feladatoknál léphet be, amelyek valóban igénylik ezt a képességet.
Mit jelent ez egy konkrét kérdésnél?
Vegyünk egy egyszerűnek tűnő kérést:
„Mikor jár le a beszállítói szerződés, és mennyi a felmondási idő?”
A rendszernek először meg kell állapítania, hogy a válaszhoz szükséges a szerződés elérése. Ezután azt kell eldöntenie, milyen feldolgozás elegendő a releváns információ kinyeréséhez.
Ha a dokumentum egyértelműen tartalmazza a keresett adatokat, a feladatot egy egyszerűbb feldolgozási útvonal is kiszolgálhatja. Ha viszont több módosítás, egymásra hivatkozó feltétel vagy ellentmondás nehezíti az értelmezést, összetettebb elemzésre vagy emberi ellenőrzésre lehet szükség.
A megfelelő útvonalat ezért a kérés mellett a rendelkezésre álló dokumentumok és a tévedés lehetséges következményei is befolyásolják.
A döntési réteg több, mint modellválasztás
A decision layer, vagyis a döntési réteg feladata túlmutathat azon, hogy kiválassza a használni kívánt modellt. A folyamat több pontján is szerepet kaphat:
Útvonalat választ: kijelöli a megfelelő modellt, AI agentet vagy eszközt.
Feltételhez köti a továbblépést: ellenőrzi, hogy teljesülnek-e a következő lépés követelményei.
Értékel: meghatározott szempontok alapján pontozza a lehetséges kimeneteket.
Magasabb szintre továbbít: összetettebb modellhez vagy emberhez irányítja a feladatot.
Folyamattervezési szempontból ez a logika a klasszikus workflow-k döntési pontjaival rokon. A különbség az, hogy a rögzített szabályok mellett modellalapú, bizonytalanságot is hordozó értékelések támogathatják a továbblépést.
Ezeknél különösen fontos meghatározni, mi történjen bizonytalan eredmény esetén. Egy modell által adott pontszám önmagában még nem jelent garantált helyességet.
A megfelelő mechanizmus a megfelelő döntési ponthoz
A vállalati AI-folyamat tervezésekor érdemes minden döntési pontnál megvizsgálni, milyen megoldás elegendő az elvárt minőséghez:
szabály → döntési modell → reasoning modell → emberi mérlegelés
Ez nem kötelezően végigjárandó lépéssor. Inkább választási lehetőségeket jelent: ahol egy egyértelmű szabály elegendő, ott használhatjuk azt; ahol értelmezésre van szükség, ott modellt vonhatunk be; ahol pedig a bizonytalanság vagy a kockázat indokolja, emberi döntést kérhetünk.
Ehhez előre rögzíteni kell a lehetséges kimeneteket, a továbblépés feltételeit és az emberi beavatkozás eseteit.
Hol jelenik meg az üzleti érték?
A tudatosan kialakított döntési réteg három területen hozhat előnyt.
Költség: a nagyobb erőforrásigényű modelleket azokra a feladatokra tartogathatjuk, amelyeknél indokolt a használatuk. A tényleges megtakarítást a teljes folyamaton kell mérni, a döntési réteg saját költségével együtt.
Sebesség: a jól körülhatárolható döntések egyszerűbb mechanizmusokkal is elvégezhetők, így csökkenhet a felesleges modellhívások száma.
Átláthatóság: megfelelő naplózással és értékeléssel visszakövethetővé válhat, hogy egy kérés melyik útvonalon haladt tovább, és milyen szempontok alapján született döntés.
A Clarity szemléletében a vállalati AI alkalmazása szorosan összekapcsolódik a folyamattervezéssel. A modell képességei mellett azt is meg kell határozni, hogyan illeszkedik a működésbe, milyen döntéseket hozhat meg, és mikor szükséges emberi kontroll.
Az explicit döntési pontokkal az AI agentekre épülő rendszerek működése jobban összehangolható a vállalati elvárásokkal: a költségekkel, a válaszidővel, a minőséggel és a felelősségi körökkel.
