Czym jest model: prawdopodobieństwo, halucynacje i kontekst

Cel: zrozumieć, skąd bierze się wynik modelu

Model językowy nie przeszukuje w głowie gotowej encyklopedii odpowiedzi. W uproszczeniu oblicza, jaki kolejny fragment tekstu najlepiej pasuje do kontekstu, który dostał, po czym powtarza ten proces. Dzięki temu potrafi wyjaśnić trudny temat, streścić materiał albo przygotować szkic w różnych stylach. Jednocześnie płynne zdanie nie jest dowodem, że zawarte w nim twierdzenie jest prawdziwe. Model może podać nieistniejące źródło, pomylić szczegóły albo wypełnić lukę prawdopodobną, lecz niepotwierdzoną odpowiedzią. Takie błędne, pewnie brzmiące uzupełnienie nazywamy halucynacją.

Wyobraź sobie, że prosisz o podsumowanie fikcyjnego raportu z pięciu rozmów sprzedażowych. W notatkach są cztery osoby zainteresowane, jedna odmowa i brak informacji o budżecie. Jeśli zapytasz tylko „jaki był wynik rozmów?”, model może napisać ogólną interpretację i zasugerować, że zainteresowani mają budżet. Tego w notatkach nie ma. Jeśli dołączysz notatki i polecisz oddzielić fakty od wniosków oraz zaznaczać brakujące pola, wynik będzie łatwiejszy do sprawdzenia. Kontekst pomaga, ale nie usuwa potrzeby kontroli.

Dlatego rozdzielaj trzy rzeczy: dane, wniosek i rekomendację. Dane możesz wskazać w źródle, np. „cztery osoby poprosiły o demonstrację”. Wniosek jest interpretacją, np. „demonstracja może pomóc w decyzji”. Rekomendacja sugeruje działanie, np. „zaproponuj termin”. Nie zapisuj interpretacji jako faktu. Przy zadaniu o większym ryzyku każdą ważną liczbę sprawdź w źródle, a każde działanie zostaw do zatwierdzenia człowiekowi.

Ćwiczenie: Wymyśl pięć krótkich, fikcyjnych notatek z rozmów. Najpierw poproś model o podsumowanie bez dodatkowych zasad. Potem dodaj instrukcję: „Oddziel obserwacje od wniosków. Nie dopisuj budżetu ani decyzji, których nie ma w notatkach. Brak oznacz jako nieznany”. Porównaj odpowiedzi i zaznacz każde twierdzenie, którego nie możesz wskazać w źródle.

Sprawdź: Które zdanie jest faktem? Co jest interpretacją? Jak model ma odpowiedzieć, gdy źródło nie zawiera odpowiedzi? Zachowaj obie wersje jako pierwszy przykład tego, że sam płynny tekst nie wystarcza do odbioru pracy.