Ślepa próba dla agenta AI

W jednym z moich projektów agent AI codziennie analizuje te same rynki, które analizuje uczeń. I od początku obowiązuje w nim zasada, która laikom wydaje się przesadą: analiza agenta zostaje zapieczętowana, dopóki uczeń nie skończy własnej. Żadnego podglądania, nawet „tylko na chwilę".

Powód jest czysto psychologiczny. Analiza AI przeczytana przed własną przestaje być drugą opinią — staje się kotwicą. Klasyczne eksperymenty Tversky'ego i Kahnemana pokazały, że nawet jawnie losowa liczba potrafi przeciągnąć późniejsze szacunki w swoją stronę. Z opinią „autorytetu", za jaki łatwo uznać system AI, ten efekt jest tylko silniejszy: człowiek nie porównuje już dwóch niezależnych obrazów rynku, tylko szuka potwierdzenia tego, który zobaczył pierwszy.

Metodologia badań jako narzędzie inżyniera

Nauka zna to zjawisko od dawna i ma na nie standardowe lekarstwo: ślepy protokół. Oceniający nie wie, co ocenili inni, dopóki sam nie skończy. W badaniach klinicznych to fundament wiarygodności — a w pracy z AI prawie nikt tego nie stosuje, choć problem jest identyczny.

U mnie wygląda to tak: dwie analizy powstają w pełni niezależnie — agent nie zna analizy ucznia, uczeń nie widzi analizy agenta. Dopiero po zamknięciu obu następuje odpieczętowanie i porównanie. Różnice nie są traktowane jako „kto miał rację", tylko jako hipotezy do sprawdzenia: czego jeden obraz rynku nie zauważył, co drugi zobaczył za wcześnie. Najlepsze różnice zamieniają się w lekcje i zasilają bazę wiedzy.

Największy skok jakości nie przyszedł z ML

To jest obserwacja, którą powtarzam każdemu, kto buduje systemy oceny z udziałem AI: największy skok jakości w moim systemie nie przyszedł z lepszego modelu, lepszego promptu ani lepszego frameworka. Przyszedł z osiemdziesięcioletniej metodologii badań psychologicznych, zastosowanej do przepływu informacji między człowiekiem a agentem.

Kto może czytać czyją opinię i kiedy — to jest decyzja architektoniczna, dokładnie tak samo jak wybór bazy danych. Jeśli twój produkt edukacyjny pokazuje uczniowi „poprawną odpowiedź AI" przed jego własną próbą, nie uczysz go myślenia. Uczysz go kotwiczenia. A wystarczy odwrócić kolejność, żeby z tego samego narzędzia zrobić coś, co myślenie realnie trenuje.