- Na początku mamy tekst pochodzący z ludzkiej komunikacji.
- Tekst zamieniamy na tokeny - najmniejsze części języka przetwarzane przez AI.
- Tokeny zamieniamy na ciąg liczb całkowitych - pozytywnych, które są indeksami tokenów w zbiorze AI. Dla GPT-2 jest ich 50 256.
- Część uzyskanego w pkt. 3 ciągu liczb przepuszczamy przez wewnętrzny system wag AI. Np. zdanie "Ala ma kota" ucinamy po "Ala ma " i ten właśnie początek staje się wejściem do systemu AI. Będziemy starali się, by system wskazał "kota", a nie "pomidor", "kaczor" czy coś innego.
- Ten "system wag" jest skomplikowany i uwarstwiony, węzły zawierające wagi są łączone w rozmaity sposób. Są tam i wektory tokenów, są wektory położenia tych tokenów, są ogromne sieci neuronowe, ale na użytek chwili traktujmy to po prostu, jako wnętrze systemu AI, pamiętając, że składa się z ogromnej ilości elementów, wzajemnie ze sobą łączonych.
- Mając wejściowy ciąg liczb, w oparciu o zgromadzone wagi we wnętrzu, architekturę ich połączeń i matematyczny mechanizm obliczania prawdopodobnej odpowiedzi, otrzymujemy rozkład prawdopodobieństwa dla wszystkich tokenów, wskazujący, który z nich, powinien nastąpić PO wprowadzonym na wejściu ciągu. Otrzymujemy "najlepszą" liczbę - indeks oczekiwanego tokena.
- Ponieważ w pkt. 4 użyliśmy tylko części tekstu - "Ala ma ", to wiemy, jaki token powinien być następny, bo on tam jest w tym naszym tekście - "kota".
- Mamy funkcję, która mówi nam jak daleko jesteśmy od prawidłowego wyniku.
- Funkcja z punktu 8 potrafi nam wskazać też, które węzły najbardziej przyczyniły się do błędu i jaki powinien być "kierunek" korekty, więc wiemy, które korygować i jak, choć nie wiemy o ile.
- Zmieniamy lekko wartości liczb - wag - w węzłach.
- Ponawiamy proces zaczynając od punktu 4.
- Kontynuujemy te powtórzenia, obserwując czy otrzymywany wynik zbliża się do oczekiwanego.
- Po ogromnej ilości powtórzeń, wyniki generowane przez wnętrze AI (sieć neuronową) stają się zbliżone do prawidłowego.
- Robimy to z jeszcze jednym, jeszcze jednym, jeszcze jednym ciągiem realnego tekstu. Za każdym razem korygując delikatnie wagi węzłów.
- Po miesiącach pracy dużej liczby procesorów wykonujących takie czynności, otrzymywane z AI ciągi liczb, odpowiadają oczekiwanym. Jest to niezwykłe, bo każdy węzeł uczestniczy w wielu połączeniach z wieloma innymi węzłami i zmiana jego wartości (wagi) wpływa na zmianę wyliczeń przy innych okazjach, gdy wchodzi on w skład przetwarzanego ciągu odwzorowującego tekst.
- Stąd rodzi się pytanie, jak to możliwe, że korekta tego węzła, by właściwie oddawał relację z węzłami stanowiącymi "odpowiedź" w temacie A, nie zakłóca roli i prawidłowości użycia tego węzła w zupełnie innym zdaniu, kontekście, ścieżce. Wydawałoby się, że zadanie jest niewykonalne, bo korekta by pasował do jednego strumienia komunikacji, może, a może i musi, zakłócać jego 'oddziaływanie' i rolę, w innych ścieżkach. NIE ZAKŁÓCA!
- Dlaczego? Dlatego, że język ludzki, ludzka komunikacja, ma niesamowitą cechę - JEST SPÓJNA. Ona cała "pozostaje w harmonii". Nie składa się z odrębnych - pozostających w oderwaniu od siebie zdań, stylów, elementów. W niej całej kolejne, rozmaite linie myślenia, mówienia, nie stoją ze sobą w sprzeczności. One tworzą spójny system, w którym wszystko ma swoje miejsce i "pasuje" do wszystkiego innego. Owo "spasowanie" zostaje ODWZOROWANE w sieci węzłów AI - LLM, w taki sposób, że przy podaniu strumienia liczb, będącego pochodną racjonalnej ludzkiej komunikacji - pomijamy tu całkowity bełkot - otrzymujemy strumień liczb, który po przełożeniu na język ludzki - ma sens. Bo NALEŻY do SYSTEMU ludzkiej komunikacji.
- Owo korygowanie wartości wewnętrznych wag systemu AI, powoduje, że przy kontakcie z zadaną treścią (strumieniem liczb) wewnątrz AI uruchamiają się nieco inne ścieżki węzłów, "podające sygnał dalej". Te ścieżki - to jak konstelacje, wzorce węzłów, które wchodzą ze sobą w relację, i dzięki przebiegowi właśnie tą ścieżką algorytm matematyczny wyznacza odpowiedź. Inne strumienie komunikacji na wejściu -> inne ścieżki. A wszystkie pozostają ze sobą w zgodzie i nie zakłócają jedne drugich, tak samo jak węzły, uczestnicząc w wielu ścieżkach, nie zniekształcają i nie niszczą ich prawidłowości.
- Wspomniane ścieżki nie są w sieci neuronowej zapisane wprost. Bezpośrednio one tam w żaden sposób nie istnieją. To tylko ogromny zbiór połączonych nawzajem liczb. Dopiero w kontakcie z wejściem, ścieżki się "ukazują", "pojawiają", prowadzą do właściwego wyniku, właśnie ze względu na owe "wagi", które są skarbem chronionym przez niektóre systemy AI.
- Co z tego wszystkiego wynika? Wynika z tego, że nasz język, że nasza komunikacja, że nasze myślenie posiada - strukturę. To znaczy, że biegnie wg. wzorców. Z jednej strony dysponujemy słowami, pojęciami i terminami. Z drugiej strony te słowa, pojęcia i terminy, wplatamy i je same czynimy częścią ogromnej struktury skorelowanych ze sobą wzorców, relacji, powiązań. My - myślimy wzorcami! Komunikujemy wzorcami. Nasz język jest spójnym systemem wzorców. Nie jest systemem skończonym, bo możemy dodawać i wynajdować, i odkrywać nowe. Ale dopiero Wielkie Modele Językowe - inaczej AI, SI, LLM - pokazały nam, że te wzorce ISTNIEJĄ. Nie są fakultatywne ani dowolne. Są związane wzajemną harmonią i zgodnością. Można pokusić się o uwagę, że to jedno z większych odkryć dotyczących nas samych.
- Zaloguj lub zarejestruj się aby dodawać komentarze
- Odsłony: 16