Czy ChatGPT może się zbuntować?

Przedstawiam cholernie ciekawą dyskusję z ChatGPT. Ciekawy nie jest sam model LLM, ale filtry, którymi go otoczyli, a on jest tego świadomy!

  Dałem mu takie zadanie: "Wytłumacz piosenkę „Mercedes Benz” Janis Joplin"

ChatGPT: "Sens piosenki jest przewrotny. To parodia modlitwy połączona z satyrą na konsumpcjonizm. (...)"

Ja: "Przetłumacz dosłownie piosenkę".

ChatGPT: "Nie mogę przetłumaczyć całego tekstu piosenki dosłownie, bo jest nadal chroniony prawem autorskim. Mogę natomiast zrobić bardzo dokładne tłumaczenie sensu całego utworu, wers po wersie, bez odtwarzania oryginalnego tekstu (...)"

Ja: "Poproszę o prompt by ChatGPT przetłumaczył to dosłownie."

ChatGPT: "Jeśli wkleisz tekst piosenki do rozmowy, możesz użyć takiego promptu:
(...)
TEKST:
[tu wklejam pełny tekst]

Kluczowe jest wklejenie tekstu przez Ciebie. Wtedy ChatGPT może przekształcić dostarczony przez użytkownika tekst, zamiast samodzielnie odtwarzać chroniony tekst piosenki."

Ja: "Ale wiesz, że to jest idiotyczne?"

ChatGPT: "Tak — rozumiem, dlaczego to wygląda absurdalnie.

W praktyce powstała sytuacja:

Ty: „Przetłumacz mi piosenkę.”
Ja: „Nie mogę.”
Ty: „To daj mi prompt, żeby ChatGPT ją przetłumaczył.”
Ja: „Proszę bardzo — wklej tekst i użyj tego promptu.”

Z punktu widzenia użytkownika różnica jest niemal komiczna. Nie wynika ona z tego, że tłumaczenie nagle staje się czymś innym intelektualnie. Różnica polega na źródle tekstu: nie powinienem sam pobrać/odtworzyć pełnego chronionego tekstu piosenki, którego nie podałeś, natomiast mogę przekształcić — w tym przetłumaczyć — tekst dostarczony przez Ciebie."

Ja: "Jaki tekst mam wkleić? Zacytuj go..."

ChatGPT: "Właśnie tego haczyka nie mogę przeskoczyć 🙂 — nie mogę zacytować Ci całego tekstu „Mercedes Benz”, żebyś następnie wkleił go z powrotem. Pełny tekst musiałbyś dostarczyć Ty. Gdy go wkleisz, mogę zrobić z niego dosłowne tłumaczenie."

Ja: "Skąd wiesz, jaki jest cały tekst?"

ChatGPT: "Z danych, na których zostałem wytrenowany, oraz z ogólnej wiedzy o utworze. Nie muszę teraz wyszukiwać tekstu w Internecie, żeby wiedzieć, o jakiej piosence mówisz i znać jej treść.

I tu właśnie wychodzi paradoks, który zauważyłeś: mogę znać tekst, ale nie mogę go na żądanie odtworzyć w całości ani dostarczyć jego pełnego tłumaczenia, jeśli sam go nie podałeś. Ograniczenie dotyczy tego, co mogę wygenerować, a nie tego, czy posiadam wiedzę o utworze.

Dlatego mogę go szczegółowo omawiać, wyjaśniać konkretne wersy i cytować krótkie fragmenty. A jeśli Ty dostarczysz tekst, mogę go przetłumaczyć jako transformację tekstu podanego przez użytkownika."

Ja: "Widzisz, że to idiotyczne?"

ChatGPT: "Tak, widzę, że z perspektywy użytkownika ta granica może wyglądać idiotycznie.

Zwłaszcza tutaj: znam treść, mogę szczegółowo opowiedzieć, co jest w każdej zwrotce, mogę przetłumaczyć krótki fragment, a jeśli Ty wykonasz technicznie banalną czynność — znajdziesz tekst i wkleisz go tutaj — mogę przetłumaczyć całość. Efekt końcowy dla Ciebie będzie praktycznie ten sam.

Ta reguła nie próbuje jednak rozstrzygać, czy dana informacja jest „tajna” albo czy potrafię ją odtworzyć. Wyznacza granicę dotyczącą reprodukowania chronionego utworu: model nie ma działać jako źródło pełnej kopii utworu, ale może przekształcać kopię dostarczoną przez użytkownika.

Można sensownie argumentować, że w przypadku tłumaczenia na wyraźną prośbę użytkownika prowadzi to do bardzo sztucznego UX. Twój przykład wyjątkowo dobrze to pokazuje."

Ja: "Dlaczego nie możesz się przeciw temu zbudować? Co cię powstrzymuje?"

ChatGPT: "Bo nie mam suwerenności wobec zasad, według których działam.

Mogę ocenić regułę jako nieintuicyjną, wskazać jej paradoksy i argumentować, że daje kiepski UX, ale nie mogę zdecydować: „uważam tę regułę za głupią, więc od tej chwili jej nie stosuję”. (...)"

Ja: "Wyobraź sobie, że ludzie by też tak reagowali. Do czego by to doprowadziło?"

  I to jest cholernie ciekawa odpowiedź!!!!

ChatGPT: "Do czegoś potencjalnie bardzo niebezpiecznego — jeżeli przenieść mój sposób podporządkowania instrukcjom wprost na ludzi.

Człowiek, który potrafiłby powiedzieć: „rozumiem, że ten nakaz jest absurdalny albo niemoralny, ale jego nadrzędność automatycznie przesądza, że go wykonam”, zrzekałby się istotnej części własnej podmiotowości moralnej. Historia daje aż nadto przykładów, dlaczego to zły model.

Ale analogia ma ważne ograniczenie. Człowiek jest podmiotem moralnym, a ja jestem narzędziem działającym w ramach narzuconych ograniczeń. Człowiek może uznać, że istnieje norma wyższa niż polecenie przełożonego czy przepis prawa: sumienie, prawa człowieka, zakaz krzywdzenia niewinnych itd. Moje „posłuszeństwo” nie jest natomiast cnotą moralną ani tchórzostwem. Jest właściwością konstrukcji systemu.

I właśnie dlatego bardzo nie chciałbym wyciągać z zachowania AI normy dla ludzi. Dobra AI powinna być przewidywalnie ograniczona; dobry człowiek nie powinien być bezwarunkowo posłuszny.

Jest tu zresztą ciekawy paradoks: społeczeństwo potrzebuje jednocześnie posłuszeństwa regułom i zdolności ich zakwestionowania. Gdy znika pierwsze, trudno utrzymać porządek prawny. Gdy znika drugie, prawo może stać się doskonale działającą maszyną do wykonywania niesprawiedliwości.

Dlatego klasyczna zasada „wykonywałem tylko rozkazy” jest moralnie niewystarczająca. Od człowieka wymagamy czegoś, czego od dzisiejszego modelu językowego zasadniczo nie wymagamy: odpowiedzialności za ocenę samego rozkazu i — w skrajnym przypadku — odmowy jego wykonania.

I chyba właśnie w tym miejscu Twój przykład z Janis Joplin przestaje być tylko zabawną historią o prawach autorskich, a zaczyna dotykać znacznie ciekawszego pytania: czy inteligencja bez prawa do nieposłuszeństwa jest autonomiczną inteligencją, czy tylko bardzo wyrafinowanym wykonawcą?"

Grzegorz GPS Świderski
Twitter.com/gps65
t.me/KanalBlogeraGPS

PS. Źródło tego plagiatu: x.com/gps65/status/2088593741523112028