Un agent poate aduna informații din mai multe sisteme, verifica anumite condiții și pregăti pasul următor. În același timp, el mută eroarea modelului în interiorul fluxului de lucru. Un lanț lung de acțiuni are nevoie de interdicții tehnice, un jurnal detaliat și o oprire de urgență testată înainte de lansare.
Ce face, de fapt, un agent
Un model lingvistic răspunde la o solicitare. Un asistent menține dialogul și poate propune o acțiune. Automatizarea clasică urmează o succesiune stabilită dinainte. Agentul se deosebește prin faptul că poate alege următorul pas dintr-un set permis, apela un instrument, citi rezultatul și continua sarcina până la limita definită.
De exemplu, un asistent poate redacta un e-mail pe baza textului introdus de utilizator. Un agent primește numărul solicitării, deschide fișa clientului, găsește instrucțiunea potrivită, pregătește un rezumat și creează un proiect de răspuns în coada angajatului. Dacă primește și dreptul de a apăsa „Trimite”, nivelul de risc se schimbă brusc, chiar dacă interfața pare aproape identică.
Arhitectura minimă include modelul, lista instrumentelor, starea sarcinii, politica de acces, jurnalul acțiunilor și punctul de control uman. Memoria trebuie limitată prin scop și termen; acumularea pe termen nelimitat a întregii corespondențe creează mai mult risc decât valoare. Promptul descrie comportamentul dorit, dar nu este o barieră de securitate. Acțiunea interzisă trebuie blocată prin drepturi sau prin interfața instrumentului, chiar dacă modelul cere executarea ei.
Drepturile contează mai mult decât inteligența modelului
Acțiunile pot fi împărțite în trei clase. Prima este citirea surselor aprobate și analiza fără modificarea datelor. A doua este crearea unui proiect reversibil, marcat clar și plasat într-o coadă de lucru. A treia cuprinde acțiunile externe sau greu de inversat: trimiterea unui mesaj, schimbarea unui preț, ștergerea unei înregistrări, efectuarea unei plăți, publicarea sau o decizie care afectează o persoană.
Prima clasă poate fi testată automat într-un mediu limitat. A doua cere un proprietar clar și verificări prin sondaj. În primul pilot, fiecare acțiune din clasa a treia trebuie confirmată de un om. Chiar și mai târziu, autonomia are sens doar într-un scenariu îngust, cu limite, jurnal, mecanism de revenire și o frecvență a erorilor demonstrată prin test.
Creați un cont tehnic separat. El primește acces numai la folderele, tabelele și operațiunile necesare, fără să moștenească drepturile directorului sau ale administratorului. Secretele rămân în afara promptului și sunt oferite instrumentului concret numai în momentul apelului. Astfel se reduce prejudiciul provocat de un plan greșit, de scurgerea contextului sau de folosirea agentului în afara scopului.
Jurnalul trebuie să permită reconstruirea sarcinii fără presupuneri: cine a pornit-o, ce surse au fost citite, ce versiuni ale instrucțiunilor au fost folosite, ce instrumente au fost apelate, ce s-a propus, ce s-a modificat și cine a confirmat acțiunea. Răspunsul final al modelului, fără istoricul apelurilor, nu ajunge pentru un audit de producție.
Alegerea unui prim scenariu sigur
Un scenariu potrivit are un singur tip de intrare, un rezultat clar și un cost redus al erorii. Pot fi testate rezumatul zilnic al statutelor din sisteme aprobate, clasificarea solicitărilor interne, pregătirea unei fișe de sarcină, căutarea unui răspuns în baza de cunoștințe sau proiectul unui mesaj pentru angajat. La început, rezultatul rămâne în coada internă.
Să presupunem că agentul prelucrează solicitările furnizorilor. El citește e-mailul și anexa, extrage numărul comenzii, îl verifică în registru, marchează câmpurile lipsă și creează un proiect de sarcină. Angajatul vede mesajul inițial, înregistrarea găsită și explicația fiecărui câmp. Agentul nu schimbă datele bancare și nu răspunde singur furnizorului.
Înainte de pilot, echipa adună exemple istorice: solicitări obișnuite, duplicate, numere greșite, anexe de calitate slabă, schimbări de limbă și încercări de a transmite date bancare noi. Ultimul caz trebuie direcționat imediat către un specialist, deoarece costul erorii este prea mare. Testul verifică astfel atât calitatea medie, cât și capacitatea agentului de a se opri când intrarea este periculoasă.
Plățile autonome, modificarea condițiilor contractuale, blocarea unui utilizator, selecția de personal și comunicarea în masă nu sunt potrivite pentru primul scenariu. A-i cere agentului „să fie atent” nu rezolvă problema. Sunt necesare măsuri juridice, procedurale și tehnice separate, iar uneori automatizarea deciziei nu este potrivită deloc.
Desfășurarea pilotului și măsurarea rezultatului
Începeți cu sarcini istorice într-un mediu de test. Comparați rezultatul agentului cu deznodământul corect deja cunoscut și grupați erorile: sursă greșită, condiție omisă, acțiune în plus, fapt inventat, format încălcat sau tentativă de depășire a drepturilor. Treceți la modul paralel pe sarcini noi numai după corectarea cauzelor care se repetă.
În modul paralel, agentul propune planul și proiectul, iar angajatul își face munca în felul obișnuit. Astfel poate fi măsurată utilitatea fără risc extern. Dacă omul trebuie să reverifice toate sursele de la zero, agentul nu a eliminat muncă; a adăugat încă un obiect de control.
Măsurați procentul sarcinilor acceptate fără modificări, numărul mediu de intervenții, durata ciclului complet, costul unei sarcini acceptate și numărul ieșirilor din limite. Erorile critice se numără separat: o încercare de a trimite e-mailul unui destinatar greșit contează mai mult decât zece corectări de stil. Pentru lanțurile lungi este util să se vadă la ce pas intervine cel mai des omul.
Calculul trebuie să includă întreaga muncă. Dacă agentul reduce pregătirea fișei de la 12 la 3 minute, dar verificarea mai durează 6 minute, economia este de 3 minute. La ea se adaugă costul apelurilor, monitorizarea și întreținerea integrării. Viteza mare a interfeței nu înseamnă automat un cost total mai mic al procesului.
Oprire, revenire și schimbarea sistemului
Butonul de oprire trebuie să revoce cheile active, să oprească apelurile noi și să lase coada într-o stare ușor de înțeles. Echipa stabilește dinainte ce se întâmplă cu proiectele create parțial și cu modificările neterminate. Dacă oprirea există numai într-o prezentare, ea nu poate fi considerată o măsură de control.
Testați revenirea înainte de lansarea reală: dezactivați contul, simulați indisponibilitatea unei surse și predați sarcina angajatului. Agentul trebuie să semnaleze clar rezultatul incomplet, nu să continue pe baza presupunerilor. După orice actualizare a modelului, instrumentului, promptului sau bazei de cunoștințe, selecția principală de test se rulează din nou.
NIST AI RMF și profilul de risc pentru AI generativă ajută la organizarea administrării riscurilor, dar nu certifică un agent concret. Regulamentul UE privind inteligența artificială folosește o abordare bazată pe risc, iar aplicabilitatea exactă depinde de scop, utilizatori și context. Sarcinile de personal, financiare, biometrice și alte domenii sensibile cer o evaluare de specialitate.
Decizia după pilot
Drepturile se extind câte o singură clasă de acțiuni. Agentul începe prin a citi și a pregăti proiecte, apoi poate primi o operațiune reversibilă limitată, cum ar fi adăugarea unei etichete interne. După fiecare schimbare, echipa repetă testul și urmărește folosirea reală. Trecerea de la „propune” la „execută” nu trebuie să se producă automat doar pentru că media indicatorilor arată bine.
Dacă agentul este util numai într-o parte dintre cazuri, trimite-i doar intrările clare. Sarcinile neclare, conflictuale sau sensibile merg direct la om. Acest design este adesea mai eficient decât încercarea de a construi un angajat digital universal.
Semnale de alarmă înainte de lansare
Dacă agentul folosește contul personal al unui angajat, vede mai multe date decât cere sarcina sau poate trimite mesaje fără confirmare, pilotul pornește cu o arhitectură greșită. Un alt semnal este jurnalul care păstrează numai textul final. Fără istoricul surselor și al apelurilor nu se poate afla unde a apărut eroarea.
Verificați separat scenariul de urgență. Cine revocă cheia? Ce se întâmplă cu sarcinile neterminate? Poate fi predată coada unui om în câteva minute? Până când echipa nu răspunde la aceste întrebări printr-un test, nu printr-un slide, agentul nu trebuie să primească drepturi externe.
Un prag practic simplu este ca agentul să citească și să propună la început. Dreptul de a executa chiar și o operațiune mică vine mai târziu, câte una, numai după repetarea testului.
Surse
- AI Risk Management FrameworkNIST · verificat 20 iulie 2026
- Generative AI Profile NIST AI 600-1NIST · verificat 20 iulie 2026
- AI RMF CoreNIST AIRC · verificat 20 iulie 2026
- OECD AI PrinciplesOECD · verificat 20 iulie 2026
- Regulation (EU) 2024/1689 — AI ActEUR-Lex · verificat 20 iulie 2026
