AI nie poprawi się „z głowy". Psychologia wiedziała to wcześniej

Kazałem kiedyś modelowi poprawić własną analizę. Poprawił — na gorszą. Zamiast naprawić błąd merytoryczny, wygładził język i nabrał pewności siebie. Długo traktowałem to jako anegdotę, dopóki nie zestawiłem jej z literaturą: to nie wypadek przy pracy, to wynik systematyczny.

Badania nad samokorektą modeli pokazują spójny obraz. Refleksja „wewnętrzna" — model czyta własną odpowiedź i ją poprawia — bez zewnętrznego sygnału prawdy przeciętnie nie działa. Te same techniki refleksji zaczynają działać spektakularnie, gdy sygnał się pojawia: agent, który po każdej próbie dostaje wynik testów i zapisuje wnioski, poprawia się z próby na próbę. Różnica nie leży w inteligencji modelu, tylko w istnieniu miary.

Człowiek ma dokładnie tak samo

Psychologia poznawcza doszła do tej samej konkluzji dziesiątki lat wcześniej: z błędów poznawczych nie wychodzi się introspekcją. Człowiek proszony o „zastanowienie się, czy się nie myli" zwykle znajduje kolejne argumenty za tym, że ma rację. Skrzywienia widać w danych — w wynikach, licznikach, zapisach decyzji — nie w samopoczuciu.

To jest dokładnie ten punkt, w którym doświadczenie psychologa i praca inżyniera AI przestają być dwiema osobnymi rzeczami. Projektując system oceny dla agentów, nie pytam „jak skłonić model do refleksji", tylko „skąd weźmie zewnętrzny sygnał prawdy" — bo wiem, że bez niego refleksja jest teatrem, u ludzi i u maszyn.

Jak to wygląda w praktyce

W moim systemie mentorskim działa osobny proces audytu. Regularnie sprawdza analizy, które mentor AI wystawił uczniowi, i ma twarde reguły: każdy zarzut musi być poparty cytatem ze źródła, błędy są klasyfikowane, a ich wystąpienia zliczane — bo licznik jest odporny na wrażenia. Raz audytor sam się pomylił; wyszło to dokładnie tak samo, jak wychodzą błędy mentora — w konfrontacji z danymi, nie w autorefleksji. To dobrze: system, w którym audytora też da się skontrolować, jest zdrowszy niż system, w którym ktokolwiek jest nieomylny.

Dla budujących produkty z AI wniosek jest praktyczny i trochę niewygodny: zanim poprosisz model o samoocenę, zaprojektuj źródło prawdy. Testy, wynik, licznik, dane z rynku, odpowiedź klucza — cokolwiek, co istnieje poza modelem. Refleksja bez miary nie jest kontrolą jakości. Jest jej imitacją.