Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego serca jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę własnego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na mniejsze podzadania i proponuje kolejność ich wykonania. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej wiedzy treningowej.
Ciekawym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy procedura rozkłada się na wiele etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To właśnie ta umiejętność odróżnia agenta od prostego skryptu, który wykonuje jedynie z góry zapisaną listę poleceń.
Oddzielną kwestią pozostaje sposób ewaluacji własnych działań. Odpowiednio skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik nie zgadza się od oczekiwanego, i cofnąć się do poprzedniego etapu, by podjąć próbę innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej złożeniem.