Przejdź do treści
Strona główna

menu-top1

  • Blogerzy
  • Komentarze
User account menu
  • Moje wpisy
  • Zaloguj

#3 AI: Jak trenowany jest i co w środku zawiera system LLM

Zbyszek, 30.05.2026
  1. Na początku mamy tekst pochodzący z ludzkiej komunikacji.
  2. Tekst zamieniamy na tokeny - najmniejsze części języka przetwarzane przez AI.
  3. Tokeny zamieniamy na ciąg liczb całkowitych - pozytywnych, które są indeksami tokenów w zbiorze AI. Dla GPT-2 jest ich 50 256.
  4. Część uzyskanego w pkt. 3 ciągu liczb przepuszczamy przez wewnętrzny system wag AI. Np. zdanie "Ala ma kota" ucinamy po "Ala ma " i ten właśnie początek staje się wejściem do systemu AI. Będziemy starali się, by system wskazał "kota", a nie "pomidor", "kaczor" czy coś innego.
  5. Ten "system wag" jest skomplikowany i uwarstwiony, węzły zawierające wagi są łączone w rozmaity sposób. Są tam i wektory tokenów, są wektory położenia tych tokenów, są ogromne sieci neuronowe, ale na użytek chwili traktujmy to po prostu, jako wnętrze systemu AI, pamiętając, że składa się z ogromnej ilości elementów, wzajemnie ze sobą łączonych.
  6. Mając wejściowy ciąg liczb, w oparciu o zgromadzone wagi we wnętrzu, architekturę ich połączeń i matematyczny mechanizm obliczania prawdopodobnej odpowiedzi, otrzymujemy rozkład prawdopodobieństwa dla wszystkich tokenów, wskazujący, który z nich, powinien nastąpić PO wprowadzonym na wejściu ciągu. Otrzymujemy "najlepszą" liczbę - indeks oczekiwanego tokena.
  7. Ponieważ w pkt. 4 użyliśmy tylko części tekstu - "Ala ma ", to wiemy, jaki token powinien być następny, bo on tam jest w tym naszym tekście - "kota".
  8. Mamy funkcję, która mówi nam jak daleko jesteśmy od prawidłowego wyniku.
  9. Funkcja z punktu 8 potrafi nam wskazać też, które węzły najbardziej przyczyniły się do błędu i jaki powinien być "kierunek" korekty, więc wiemy, które korygować i jak, choć nie wiemy o ile.
  10. Zmieniamy lekko wartości liczb - wag - w węzłach.
  11. Ponawiamy proces zaczynając od punktu 4.
  12. Kontynuujemy te powtórzenia, obserwując czy otrzymywany wynik zbliża się do oczekiwanego.
  13. Po ogromnej ilości powtórzeń, wyniki generowane przez wnętrze AI (sieć neuronową) stają się zbliżone do prawidłowego.
  14. Robimy to z jeszcze jednym, jeszcze jednym, jeszcze jednym ciągiem realnego tekstu. Za każdym razem korygując delikatnie wagi węzłów.
  15. Po miesiącach pracy dużej liczby procesorów wykonujących takie czynności, otrzymywane z AI ciągi liczb, odpowiadają oczekiwanym. Jest to niezwykłe, bo każdy węzeł uczestniczy w wielu połączeniach z wieloma innymi węzłami i zmiana jego wartości (wagi) wpływa na zmianę wyliczeń przy innych okazjach, gdy wchodzi on w skład przetwarzanego ciągu odwzorowującego tekst. 
  16. Stąd rodzi się pytanie, jak to możliwe, że korekta tego węzła, by właściwie oddawał relację z węzłami stanowiącymi "odpowiedź" w temacie A, nie zakłóca roli i prawidłowości użycia tego węzła w zupełnie innym zdaniu, kontekście, ścieżce. Wydawałoby się, że zadanie jest niewykonalne, bo korekta by pasował do jednego strumienia komunikacji, może, a może i musi, zakłócać jego 'oddziaływanie' i rolę, w innych ścieżkach. NIE ZAKŁÓCA! 
  17. Dlaczego? Dlatego, że język ludzki, ludzka komunikacja, ma niesamowitą cechę - JEST SPÓJNA. Ona cała "pozostaje w harmonii". Nie składa się z odrębnych - pozostających w oderwaniu od siebie zdań, stylów, elementów. W niej całej kolejne, rozmaite linie myślenia, mówienia, nie stoją ze sobą w sprzeczności. One tworzą spójny system, w którym wszystko ma swoje miejsce i "pasuje" do wszystkiego innego. Owo "spasowanie" zostaje ODWZOROWANE w sieci węzłów AI - LLM, w taki sposób, że przy podaniu strumienia liczb, będącego pochodną racjonalnej ludzkiej komunikacji - pomijamy tu całkowity bełkot -  otrzymujemy strumień liczb, który po przełożeniu na język ludzki - ma sens. Bo NALEŻY do SYSTEMU ludzkiej komunikacji.
  18. Owo korygowanie wartości wewnętrznych wag systemu AI, powoduje, że przy kontakcie z zadaną treścią (strumieniem liczb) wewnątrz AI uruchamiają się nieco inne ścieżki węzłów, "podające sygnał dalej". Te ścieżki - to jak konstelacje, wzorce węzłów, które wchodzą ze sobą w relację, i dzięki przebiegowi właśnie tą ścieżką algorytm matematyczny wyznacza odpowiedź. Inne strumienie komunikacji na wejściu -> inne ścieżki. A wszystkie pozostają ze sobą w zgodzie i nie zakłócają jedne drugich, tak samo jak węzły, uczestnicząc w wielu ścieżkach, nie zniekształcają i nie niszczą ich prawidłowości.
  19. Wspomniane ścieżki nie są w sieci neuronowej zapisane wprost. Bezpośrednio one tam w żaden sposób nie istnieją. To tylko ogromny zbiór połączonych nawzajem liczb. Dopiero w kontakcie z wejściem, ścieżki się "ukazują", "pojawiają", prowadzą do właściwego wyniku, właśnie ze względu na owe "wagi", które są skarbem chronionym przez niektóre systemy AI.
  20. Co z tego wszystkiego wynika? Wynika z tego, że nasz język, że nasza komunikacja, że nasze myślenie posiada - strukturę. To znaczy, że biegnie wg. wzorców. Z jednej strony dysponujemy słowami, pojęciami i terminami. Z drugiej strony te słowa, pojęcia i terminy, wplatamy i je same czynimy częścią ogromnej struktury skorelowanych ze sobą wzorców, relacji, powiązań. My - myślimy wzorcami! Komunikujemy wzorcami. Nasz język jest spójnym systemem wzorców. Nie jest systemem skończonym, bo możemy dodawać i wynajdować, i odkrywać nowe. Ale dopiero Wielkie Modele Językowe - inaczej AI, SI, LLM - pokazały nam, że te wzorce ISTNIEJĄ. Nie są fakultatywne ani dowolne. Są związane wzajemną harmonią i zgodnością. Można pokusić się o uwagę, że to jedno z większych odkryć dotyczących nas samych.
  • Zaloguj lub zarejestruj się aby dodawać komentarze
  • Odsłony: 13
Zbyszek
Nazwa bloga:
W drodze
Zawód:
wolny
Miasto:
Lublin

Statystyka blogera

Liczba wpisów: 649
Liczba wyświetleń: 943,559
Liczba komentarzy: 4,806

Ostatnie wpisy blogera

  • #2 AI: Jak pracuje system sztucznej inteligencji
  • #1a AI: Co widzi Sztuczna Inteligencja? - dopowiedzenie
  • AI: Co widzi Sztuczna Inteligencja?

Moje ostatnie komentarze

  • To zależy u kogo. U mnie akurat to rzadkość, a przytoczenie było więcej niż celowe. Inni całe teksty produkują przy pomocy SI. Szybciej idzie, więcej da radę :)
  • Teza dyskusyjna. Przede wszystkim z powodu wątpliwości czy mózg i umysł to, to samo.Weźmy widzenie. Pobudzone neurony siatkówki oka wysyłają sygnały elektryczne neuronami do przestrzeni mózgu z tyłu…
  • Można się posunąć do następującej hipotezy: Zwiedzeni ludzie personalizują Sztuczną inteligencję. Zaś macherzy od jej tworzenia depersonalizują zwodzonych ludzi :)Prawda? Nieprawda?

Najpopularniejsze wpisy blogera

  • Czy da się żyć bez Boga?
  • Prawda o nas - głupi, nieodpowiedzialni i źli
  • Pożegnanie roku 2021 i powitanie 2022 w 6 punktach

Ostatnio komentowane

  • NASZ_HENRY, Large Language Models opierają się na bardzo prostej zasadzie 😡😉 W gruncie rzeczy są to po prostu uniwersalne "autouzupełniacze”, które są w stanie dokończyć dowolny tekst, czasami z…
  • Zbyszek, To zależy u kogo. U mnie akurat to rzadkość, a przytoczenie było więcej niż celowe. Inni całe teksty produkują przy pomocy SI. Szybciej idzie, więcej da radę :)
  • NASZ_HENRY, SI jest lepszą plagiatorką od Einsteina, ma więcej cytowań 😡 .......................................................... independenttrader.pl

Wszystkie prawa zastrzeżone © 2008 - 2026, naszeblogi.pl

Strefa Wolnego Słowa: niezalezna.pl | gazetapolska.pl | panstwo.net | vod.gazetapolska.pl | naszeblogi.pl | gpcodziennie.pl | tvrepublika.pl | albicla.com

Nasza strona używa cookies czyli po polsku ciasteczek. Do czego są one potrzebne może Pan/i dowiedzieć się tu. Korzystając ze strony wyraża Pan/i zgodę na używanie ciasteczek (cookies), zgodnie z aktualnymi ustawieniami Pana/i przeglądarki. Jeśli chce Pan/i, może Pan/i zmienić ustawienia w swojej przeglądarce tak aby nie pobierała ona ciasteczek. | Polityka Prywatności

Footer

  • Kontakt
  • Nasze zasady
  • Ciasteczka "cookies"
  • Polityka prywatności