Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę własnego głosu doradczego agenta. To on interpretuje polecenia użytkownika, rozbija złożone zadanie na mniejsze podzadania i proponuje kolejność ich realizacji. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy procedura rozciąga się na kilka etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta umiejętność odróżnia agenta od prostego skryptu, który odtwarza jedynie wcześniej zapisaną listę poleceń.
Oddzielną kwestią pozostaje sposób oceny własnych działań. Odpowiednio skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik odbiega od zamierzonego, i cofnąć się do wcześniejszego etapu, by podjąć próbę alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.