LLM - wielki model językowy - odkrywa w języku WZORCE. Co to jest - wzorzec?
Wzorzec, to sposób i mechanizm organizacji i doboru treści w reakcji na wejście (wejście czyli wsadowy ciąg tokenów).
W zależności od wejścia model odpowiada wg jakiegoś wzorca. Inaczej odpowiedź byłaby chaosem, byłaby przypadkowa. Można się tu posłużyć analogią makiety terenu, każdy widział takie makiety. Są na niej góry, lasy, rzeki, drogi, doliny i płaszczyzny. Z pozoru, nie widać wzorca, ale gdy w którymś miejscu uruchomimy "przemieszczanie się" przez tę makietę, to otrzymamy pewien wzorzec. Podlegając siłom przyciągania, grawitacji, oporu itd. przykładowa kulka podróżująca przez taki "krajobraz" będzie podróżować wg. najbardziej odpowiadającego jej wzorca.
Te WZORCE istnieją w języku. Niektóre są bardzo proste, jak struktura zdania oznajmującego, gdzie mamy podmiot, orzeczenie, dopełnienie, a nie odwrotnie. Istnieją wzorce: pytania, zdania warunkowego, złożonego. Wzorce wynikające z gramatyki, semantyki, jak synonimy, antonimy, relacje część-całość (strona-książka, cegła-mur, koło-samochód), implikacje i skojarzenia. Istnieją wzorce następstwa czasowego, schematów zdarzeń i ról społecznych.
Dalej istnieją wzorce logiczne i racjonalne jak implikacja, definicja, analogia, hipoteza i jej weryfikacja. Jeszcze dalej istnieją w języku wzorce narracyjne dotyczące stylu wypowiedzi, sposobu budowy historii i narracji, przebiegów typowych narracji np. w literaturze.
Jeszcze dalej istnieją wzorce postaw i zachowań. Model może rozpoznać i stosować wzorzec ironii, choć to jeden z trudniejszych wzorców i łatwo tu o pomyłkę LLM. Może zachowywać się i odpowiadać jak grzeczny nauczyciel albo spontaniczny kumpel, albo mentor.
Model NIE WIE, CO MÓWI. Model jedynie produkuje ciąg "słów" (w rzeczywistości liczb wskazujących na tokeny) zgodnie z jakimś wzorcem. Całe "znaczenie" generowanej odpowiedzi istnieje w oczach ludzi, z powodu zastosowania tego właśnie wzorca, a to oznacza, że my ludzie MYŚLIMY WZORCAMI.
Nasze myśli nie są, spontaniczne, niezależne, nowe, wyjątkowe. Nasze myśli biegną wg WZORCÓW.
Model niczego NIE MYŚLI. Model wylicza prawdopodobieństwo następnej odpowiedzi zgodnie ze wzorcem istniejącym w języku, za pomocą którego był trenowany.
Model niczego NIE WIE. Model generuje z dostępnych mu "słów" (w rzeczywistości liczb wskazujących tokeny) odpowiedź, wg językowych wzorców tekstu, którego wcześniejsze, wielokrotne przetwarzanie posłużyło do takiego "ustawienia" wnętrza modelu, by z bardzo dużym prawdopodobieństwem kontynuował wzorce języka.
Wzorcem mogą być całe dłuższe teksty, jak na przykład opowiadanie czy konstrukcja książki. Dla modelu językowego WZORZEC wynika z statystycznie mierzonej "współwystępowalności" kolejnych części języka. Tylko tyle i aż tyle. Żaden WZORZEC nie jest zapisany wprost we wnętrzu LLM jako konkretna informacja, za to za każdym razem ujawnia się lub "aktywuje, gdy do tego wnętrza trafi wywołujący go tekst wejściowy.
WZORCE u ludzi.
Określenie wzorca uogólnić i powiedzieć, że: Wzorzec to powtarzający się i spójny sposób i mechanizm REAGOWANIA na to, co znajduje się na wejściu.
Taka generalizacja wskazuje, iż my ludzie używamy WZORCÓW nie tylko w języku i komunikacji, używamy ICH w naszym postępowaniu, odczuwaniu, postrzeganiu i tak dalej. Więc istnieje wzorzec "ofiary". Osoba zachowująca się zgodnie z tym wzorcem doświadcza silnych przykrych emocji nawet w przypadku uzasadnionej i konstruktywnej krytyki. Reaguje obawą na szereg sytuacji nie powodujących takich odczuć przy stosowaniu innych wzorców. Wyzwanie nie jest dla niej szansą, ale zagrożeniem. Itd. Itp.
Zgodnie z wzorcem ludzie odczuwają swoje emocje. Wzorzec powoduje selektywne, ewentualnie zniekształcone postrzeganie rzeczywistości i spójny ze wzorcem dobór skojarzeń. Wzorzec może być ostatecznie wzorcem postawy, charakteru itp. - bohater, lekkoduch, introwertyk, egoista, narcyz. Wszystkie te określenia możemy traktować jak nazwy wzorców definiujących spójne zachowania, odczucia, postrzeganie. Wzorce te skutkują przyjmowaniem czasem rozciągniętych na całe życie strategii i taktyk postępowania. Strategii, których stosujący są z jednej strony nieświadomi, z drugiej nie byliby w stanie ich zaplanować, z trzeciej dokładnie wg nich postępują. Wzorzec zakładać nawet może pewne cele do osiągnięcia. Jest matrycą przez człowieka przyjmowaną, uwewnętrznianą, człowieka - kształtującą.
Ludzie nie są bezwolni czy bezradni w wyborze lub stosowaniu wzorców. Mając świadomość i wolność decyzyjną mogą jedne wzorce odrzucać inne świadomie przyjmować. Systemy LLM istnienie wzorców pokazały, jak nigdy dotąd. Na siebie teraz możemy patrzeć nieco inaczej niż przedtem.
Dlaczego jednak system LLM stosuje ten a nie inny WZORZEC? Otóż jest do tego "popychany", przez to, co się znajduje na jego wejściu oraz prowadzony przez to, co jest w jego wnętrzu. Są w nim wpisane pewne "siły przyciągania", w rzeczywistości funkcje matematyczne wskazujące na większe lub mniejsze prawdopodobieństwo takiego czy innego wyboru. To popychanie przez to, co na wejściu i te siły "grawitacji" wewnątrz modelu za każdym razem powodują wybór i podążanie za pewnym WZORCEM.
Dlaczego ludzie wybierają pewne wzorce? Jak je tworzą? O tym następnym razem. Na dziś warto sobie zapamiętać:
- Model NIE WIE, co mówi.
- Model niczego NIE MYŚLI.
- Model niczego NIE WIE.
To maszyna matematyczna produkująca ciąg znaków, tokenów, liczb, w odpowiedzi na ciąg wejściowy, zgodnie z wzorcami "wydestylowanymi" z niemal całej ludzkiej komunikacji. To, co widzimy, to po prostu dalszy ciąg naszych - tu w pojęciu naszych jako ludzkości - myśli! Myśli, które wszystkie ze sobą są powiązane, pozostają ze sobą w relacji, stanowią jeden spójny, logiczny, zupełnie niesamowity zbiór. Cała tajemnica i "cud" sensownych odpowiedzi AI, bierze się ze WZORCÓW. Model nic nie wie, nic nie usiłuje powiedzieć, niczego nie myśli, model matematycznie rozpoznaje nasze wzorce i udostępnia nam ich dalszy ciąg. A my oszołomieni tym, że rozumiemy, co do nas "mówi", odkrywamy, że nasz język, nasza komunikacja, to co mówimy i myślimy, to spójny - dający się matematycznie wyrazić - system powiązanych WZORCÓW.
...........................................................................................................
dakowski.pl
Model niczego NIE WIE, ale o tym mówi.
Model o niczym NIE MYŚLI ale mówi.
Model niczego NIE WIE ale POmawia.
Ech... :)
Ciekawe.
Zastanowiłem się wg jakiego wzorca ja postępuję.
I jest taki, choć nie jestem z niego zadowolony.
_________A teraz z innej beczki.
Mam pytanie dotyczące komputerów kwantowych.
Po wykonaniu działań na q-bitach powstaje jakaś funkcja stanu, która jest wynikiem wzajemnych oddziaływań funkcji stanu q-bitów. Ta powstała, końcowa funkcja stanu zawiera w sobie ostateczny wynik obliczeń komputera.
Żeby odczytać ten wynik musimy doprowadzić do kolapsu tej wynikowej funkcji stanu.
Ale wynik kolapsu jest statystycny więc jak możemy mówić o dokładnym wyniku , 2x2 może być 3 albo 5 z odpowiednim prawdopodobieństwem.
Tak, domyślam się, mniej więcej działa komputer kwantowy i stąd to pytanie. Jeżeli jest inaczej będę musiał poczytać.