Sekrety i kontrowersje. Czego naukowcy nam nie mówią o AI

Transkrypcja
Postscriptum do rozmów o AI

Cześć Michał.

Cześć Wojtek.

Troszkę się dogadaliśmy na różne tematy o sztucznej inteligencji i sprawa się rozlała na trzeci odcinek.

Rozlała się… No to peszek.

To też będzie takie postscriptum, powiedzmy.

Takie luźne Może zebranie tych konceptów, jakieś tam okraszone skromną ilustracją? Tak, staro akademicko-popkulturowym, wciąż, jak się uda.

Dokładnie tak, jak opisałeś.Pewnie tak, tak będzie. Także zapraszamy na kolejny odcinek.

Początki AI, czyli systemy eksperckie

Dobra, Michał, w kolejnym odcinku od czego zaczniemy?

Tak naprawdę w tym naszym postscriptum zgrabnie pominęliśmy w tych poprzednich odcinkach to, co drzewiej bywało, co tylko sygnalizowaliśmy, powiedzmy, leciutko między wierszami. Przeszliśmy od razu do ujęcia z grubej rury, jak to się mówi, i te wielkie modele poszły na warsztat. Natomiast takie rzeczy, które gdzieś tam już wyszły w pewnym momencie z dziedziny fantastyki naukowej, przestały już być domeną tylko literatury czy filmów i zaczęły wchodzić do użycia. To właśnie to, co wypadałoby jakoś naszkicować. Bo jak cię tam kiedyś na studiach, dawno temu, uczyło o początkach sztucznej inteligencji, to właśnie była mowa o tych rzeczach. To były takie pierwsze systemy. Dzisiaj to już jest archaiczny temat i właściwie może nawet nie zawsze czuć, że się go spotyka, ale system ekspercki to jest coś takiego, co kiedyś było w modzie. Nawet na studiach kształcono ludzi, jak takie coś zbudować. Były w użyciu takie proste – de facto klasyfikatory treści, jak byśmy dzisiaj na nie popatrzyli. Wtedy to się nazywało systemem eksperckim, a teoria za tym stojąca była taka, że zapraszamy eksperta lub ekspertów. Dajmy na to, bardzo nośnym tematem były systemy medyczne do diagnostyki chorobowej. Założenie było takie, że zapraszamy wybitnych specjalistów z danej dziedziny, zadajemy im miliard pytań i budujemy coś, co się tam szumnie nazywało przeróżnie – przeważnie jakieś sieci kontekstowe. To coś było silnikiem całego systemu eksperckiego i on nazwę swoją wywodził od tych ekspertów właśnie, którzy użyczyli mu wiedzy domenowej. Natomiast on sam miał silnik, który potrafił po tej wiedzy się poruszać. Na przykład diagnosta później wpisywał dane objawy. Wiadomo, że wciąż lepiej, jak diagnozował lekarz, a nie na przykład poeta, bo wspierał się też swoją wiedzą i wiedział, jak najlepiej odpytać taki system, żeby dał dobrą odpowiedź. Ale jeżeli były mniej wymagające przypadki użycia, to prawdopodobnie zwykły śmiertelnik był w stanie tak zadawać pytania albo po prostu wybierać z dostępnych opcji, żeby sobie zawęzić tę ścieżkę. Mi to jednak od samego początku zalatywało trochę taką ideą drzewa decyzyjnego – często skomplikowanego, może bardziej rozbudowanego. Jak na ówczesne czasy, po prostu na dużym zbiorze danych – nie na takich kolosalnych jak dzisiaj, ale na większym niż kilka pytań.

Tego typu klasyfikacja jak najbardziej jest OK, bo często potrzebujemy, że tak powiem, wrzucić czy to ludzi, czy pewne obiekty w pewne kubełki, w pewne przedziały. Często tworzy się przedziały cech. To się też często w finansach stosuje, żeby określić chociażby znajomość rynków. Na przykład, żeby obecnie w aplikacjach mobilnych kupować akcje, musimy wypełnić ankietę, gdzie musimy odpowiedzieć na kilka pytań. I też gdzieś jesteśmy, że tak powiem, profilowani pod kątem tego, czy rzeczywiście rozumiemy i akceptujemy ryzyko związane z inwestowaniem w jakieś mniej czy bardziej ryzykowne fundusze, właściwie instrumenty finansowe, więc tutaj branża medyczna też często polega na takiej klasyfikacji, przynajmniej na wstępnym etapie, bo ciężko jest postawić finalną diagnozę, bazując tylko i wyłącznie na takich określeniach.

Chociaż chodzą słuchy, że gdzieniegdzie to się tak czasem robi i takim systemem eksperckim jest czasem wyszukiwarka Google.

Tak, tak. To wtedy wiadomo, najczęściej się człowiek dowiaduje, że ma różne groźne choroby. Lepiej tego nie oglądać, bo zawsze wychodzi to samo.

Ewolucja systemów eksperckich i rola radiologów

Natomiast te systemy – to taka jeszcze może mała dygresja – one również ewoluowały w kontekście rozpoznawania obrazów, czyli na przykład rozpoznawania chociażby w radiologii.

Tak, tak, tak.

I to też jest pewien system ekspercki.

I chyba właśnie, sorki, na tym kierunku mieliśmy, w sensie na tej specjalizacji na studiach, też mieliśmy to do wyboru.

No właśnie, z tym, że te lata, powiedzmy, 10, 15, 20 lat temu…

…20+…

to jeszcze nie było aż tak zaawansowane… Natomiast nie dalej jak w roku 2015 pan Geoffrey Hinton, czyli pan, którego określa się ojcem chrzestnym współczesnej sztucznej inteligencji – już padło jego nazwisko tutaj u nas w podcaście – praprawnuk pana Boole’a.

To ten.

To ten.

Dopadło.

On w 2015 roku powiedział, że już w sumie powinniśmy przestać szkolić radiologów, bo generalnie mamy taką samą skuteczność w rozpoznawaniu obrazów w obecnych systemach, że radiolog będzie niepotrzebny. Ostatnimi laty delikatnie wycofał się z tego twierdzenia, że jeszcze może chwilkę to nam zajmie – w sensie, że to nie będzie w przeciągu najbliższych dwóch, trzech lat – ale wciąż podtrzymuje to zdanie, tylko z pewnym przesunięciem czasowym.

To ogólnie jest chyba taka cecha wszelkich osobistości, które wypowiadają się na tego typu tematy – tylko przesuwają pewną datę danego odkrycia, ale gdzieś jest w tym pewna prawda. No bo rzeczywiście, jeśli te systemy będą w stanie na podstawie obrazu rozpoznać jednostki chorobowe czy jakieś inne rzeczy ze skutecznością dorównującą ekspertom, to te systemy są już, można powiedzieć, gotowe, by tych ekspertów zastąpić.

Pytanie, kto będzie szkolił dalej te systemy, jak tych ekspertów zabraknie.

No to będą stare systemy uczyły nowe systemy.

No właśnie. I znowu do skrajności tu dochodzimy.

Więc tylko trochę spokojniej.

Może z tym zaprzestaniem szkolenia to ogólnie pewnie nigdy nie nastąpi, ale nie ma co ukrywać, że zapotrzebowanie znacznie zmaleje, bo tylko najlepsi zostaną, żeby ewentualnie szkolić te systemy.

Tylko znowuż, mimo wszystko, jest myśl taka pozytywna, że jednak dalej ludzie będą trochę potrzebni, więc trochę ich zostanie. Wciąż wszystkich się nie wyeliminuje. Oczywiście, nawet Skynet by nas wszystkich nie skosił, bo część byłaby potrzebna. Zresztą Matrix wiedział o tym doskonale.

Tak, chociaż ta potrzeba jest raczej, że tak powiem, niewiele dla samego człowieka budująca.

Ludzkie a maszynowe uczenie się

W każdym razie, tutaj przy systemach eksperckich mieliśmy typowe uczenie pod nadzorem. Podobnie zresztą jak przy dzisiejszych systemach z uczeniem maszynowym – też coś takiego występuje, gdzie nawet w wersjach prototypowych można się spodziewać, że wynik z takiego automatu wciąż będzie poddawany weryfikacji i akceptacji przez użytkownika końcowego, właśnie przez jakiegoś eksperta domenowego. Żeby daleko nie szukać, to właśnie tak mieliśmy w ostatnim projekcie, że elementy rozpoznawane automatycznie musiały być zatwierdzone, ponieważ obowiązywała faza douczania systemu albo przynajmniej weryfikacji poprawności jego rozpoznawania.

No to tak, chyba właśnie te systemy eksperckie jakoś tak niejawnie przeszły w uczenie maszynowe, czyli zmieniały się przez te lata.

Bo, po raz kolejny, to co już wspominaliśmy – znacznie łatwiej takie systemy nauczyć, bazując na dużej ilości danych, bo jednak te wzorce wtedy łatwiej wykryć i przyporządkować do pewnych cech. Więc tutaj jest po prostu potrzebne big data. Jeśli mamy ten wystarczająco duży zbiór danych, to wtedy możemy z większą dokładnością znaleźć te wzorce, określić i ewentualnie, z jakimś nadzorem, poprawić pewne odpowiedzi, które nie są prawidłowe. De facto w ten sam sposób my się uczymy, tak naprawdę – na zbiorach danych.

Z tym, że ludzie potrafią nauczyć się na znacznie mniejszych zbiorach danych, bo taki radiolog nie przyswaja sobie zdjęć z całego internetu czy wszystkich książek na świecie. Ludzie potrzebują ogólnie znacznie mniejszej ilości danych, żeby wykazać się i wyłonić pewną ekspertyzę. Natomiast wielkie modele konsumują ogromne ilości – wszystko jak leci. Wiadomo, że wtedy większa baza tych danych… zakładając oczywiście, że dane są poprawne i nie są gdzieś zanieczyszczone… To też jest kwestia odpowiedniego przygotowania tego, żeby nasz model wyszedł poprawnie.

Sprawność ludzkiego mózgu i błędy poznawcze

Chyba tutaj zachodzi wiele takich ciekawych zjawisk w uczeniu ludzi, nas. Raz, że te zbiory mamy mniejsze, to i pojemność „keszu” też mamy mniejszą. Już wspominaliśmy w poprzednim odcinku, że nasza pamięć podręczna jest ograniczona do zaledwie kilku symboli. Może u niektórych ludzi, którzy ćwiczą albo mają jakieś wrodzone zdolności, do kilkunastu, być może, ale przeważnie mówi się o siedmiu. Przynajmniej ja tak słyszałem.

Więc jak musimy kontekst grubszy złapać, to przechodzimy na kolejne poziomy abstrakcji, gdzie sobie coś uogólniamy. W pewnym momencie kończy się stos. I wtedy mówimy, że „tego się nie da zrobić”. Aż przychodzi ktoś, kto nie wie, i właśnie on, bez tych wszystkich symboli, to ogarnie.

I to jest kolejny fenomen. Do wykształcenia się takiej intuicji eksperta – jak to się modeluje, i bodajże model Dreyfusa o tym wspomina – żeby zostać ekspertem, który faktycznie posługuje się ekspercką intuicją, potrzeba 10 000 godzin. Ale takich uczciwych godzin przepracowanych w temacie. Czyli po prostu, jak siadamy do nauki gry na skrzypcach, to dopiero za 10 000 godzin gramy tak, żeby się dało słuchać. W przypadku skrzypiec to jest dość łatwo zaakceptować ten fakt, bo wcześniej nie da się tego słuchać.

Żeby taki ekspert mógł się wyuczyć, to gdyby miał się uczyć metodami uczenia maszynowego, musiałby faktycznie tony tego materiału przewalić, a jednak nie da rady tego zrobić. Więc tu do głosu dochodzi chyba ta niezwykła zdolność operacyjna naszego mózgu, bo przez te miliardy połączeń między neuronami, czy cokolwiek tam mamy, ta olbrzymia moc przetwarzania się przekłada. Wystarczy popatrzeć, jak się dzieci uczą i jaki to jest fenomen niesamowitego, szybkiego uczenia, zwłaszcza kiedy podaje im się fragmenty wiedzy w strawny, dopasowany dla nich sposób.

Jeżeli zejdziemy jeszcze w abstrakcji niżej, to mamy zwierzęta. Inne gatunki niż człowiek. Gdzie na przykład ssaki naczelne nierzadko nam dorównują, a przynajmniej aspirują. I to mieliśmy w tej, na razie trylogii, o „Planecie małp”, tej najświeższej, z Cezarem. To jest świetnie pokazane. Bardzo lubię wszystkie trzy części, a teraz chyba wychodzi czwarta.

„Geneza planety małp” to był pierwszy. Czwarta część wychodzi, tylko nie wiem, w którym momencie ma być osadzona. Albo pomyliłem trailery. Gdzieś mi mignęło, że znowuż czwarta część trylogii o „Planecie małp”.

Ta trylogia tak, ale „czwarta część trylogii” zawsze lepiej brzmiało.

Wiadomo, że w tym filmie to było trochę przesadzone, chyba że nie wiemy wszystkiego o szympansach. Ale niektóre doświadczenia, jakie można spotkać w internecie, pokazują, że ssaki naczelne też da się uczyć różnych fajnych rzeczy i to dość szybko. I nie tylko naczelne, bo przecież są też delfiny. Jak się obserwuje sztuczki robione przez delfiny w jakimś delfinarium, to może na tych sztuczkach nie widać jakiejś inteligencji osobniczej, ale widać pracę zespołową. Widać, że da się takie coś, co wygląda jak ryba, nauczyć tego typu operacji.

Wracając do samego procesu uczenia, to chyba tutaj ta wielka moc obliczeniowa struktur białkowych plus jakaś intuicja – w którą stronę podążać z tym uczeniem?

No właśnie. Ta wielka ilość danych, które duże modele czy ogólnie sieci neuronowe są w stanie wchłonąć, nie zawsze działa na korzyść, bo siłą rzeczy nie jesteśmy w stanie zawsze odsiać ziarna od plew. Wiadomo, że tutaj będzie pewne wyśrodkowanie spojrzenia na dany zbiór uczący i tak naprawdę będzie troszkę brakowało spójności w odpowiedziach takiej sieci. Możemy to zobaczyć chociażby na czacie GPT – ciężko oczekiwać od niego, może nie poglądów, ale spójnego podejścia, spójnych odpowiedzi. One będą się troszkę wahać w zależności od tego zarzewia wiedzy.

Gdzie u ludzi, jakby nie patrzeć, sposoby uczenia się i w ogóle przyswajania wiedzy – nie tylko wiedzy sensu stricto, ale ogólnie wiedzy o otoczeniu – zawsze cechuje bardzo duża spójność. Ludzki umysł, człowiek jako istota, bardzo mocno dba o spójność swoich przekonań, poglądów i ogólnie swojego myślenia. Nasz mózg o to dba.

Niestety, wiąże się to często z pewnymi problemami, bo wszelkie błędy poznawcze, wszelkie uprzedzenia, one są też elementami budowania tej spójności. Nawet jeśli coś przeczy naszemu obrazowi świata albo naszym poglądom, tym gorzej dla tych poglądów i tym gorzej dla rzeczywistości. To jest koszt, jaki płacimy, jaki nasz mózg płaci za to, żeby ten model świata zbudowany w naszej głowie był spójny i stabilny. Nie jesteśmy w stanie pozwolić sobie na to, żeby go w kółko rozbudowywać, w kółko zmieniać te wagi połączeń. To tak samo jak w dużych modelach jest bardzo trudne, tak samo w naszym mózgu jest to trudne – jest wyryte w kamieniu. Do pewnego stopnia jest modyfikowane, ale wiele rzeczy przeczy zdrowemu rozsądkowi, dlatego, że mamy już pewien wyryty schemat.

Energetycznie kosztowne jest zmienianie tego schematu.

Można popatrzeć… oczywiście mogę tak amatorsko popatrzeć na kwestie medyczne, wszystkie dywagacje są bardzo amatorskie, nie ma tu specjalistów, w żadnym wypadku. Ale zasłyszałem taki pogląd, że właśnie mózg jest takim wyspecjalizowanym komputerem do zadań optymalizacyjnych. Będzie poszukiwał takiej drogi, żeby przy rozwiązywaniu dowolnego zagadnienia – od sterowania funkcjami ciała po myślenie – względnie prostą ścieżką prowadzić do osiągnięcia zadowalającego rezultatu. To taki algorytm, taka heurystyka, która po prostu jak coś znajdzie pasującego, to jest zadowolona i mówi, że to już jest to.

Jednocześnie nie będzie starał się rozpraszać. Zgodnie z tym poglądem wynika to po prostu z wymagań istoty żywej, która musi zachować maksimum energii do podtrzymywania życia. Więc wszystkie czynności, które da się automatyzować, są zautomatyzowane do bólu. Na przykład jadąc samochodem, nie zastanawiamy się, że teraz sięgamy do dźwigni biegów, sprzęgło i tak dalej. Jedziemy sobie na automacie i z grubsza orientujemy się, w którym miejscu jesteśmy. A czasami nie. Wtedy Google Maps, o ile się nie zacina, może podpowiedzieć.

Ale właśnie ten mózg ma ponoć za zadanie minimalizować straty, zużycie energii, więc musi nam dać taką odpowiedź, która jest zadowalająca. Więc jak mamy już dobrą odpowiedź przygotowaną od lat i ona tam działała…

Co z tego? Nawet jeśli nie do końca jest prawdziwa.

Albo usłyszeliśmy pewne fakty, które mówią, że jest inaczej – jeszcze się będziemy kłócić.

Oczywiście. Mimo że później nawet ta kłótnia zajmuje więcej czasu niż poznanie tej prawdy.

Wygrywanie będzie jeszcze kosztowniejsze niż ta kłótnia.

Więc jak się teraz kłócimy, to jakoś to będzie.

Jakoś to będzie. Najważniejsze, żeby zachować istniejące połączenia.

Najgorzej, jak się trzeba codziennie kłócić.

Tak, więc to się też da zrobić.

Wystarczy więcej jeść Snickersów. Będzie więcej energii do kłótni.

Jeden ze sposobów, na pewno.

Bardzo duża dygresja. Oczywiście, ale to są tematy tak bardzo ciekawie powiązane z nami samymi jako ludźmi.

Historia sieci neuronowych i przełomowe odkrycia

One leżały u podstaw początkowego podejścia do sieci neuronowych i ogólnie do uczenia maszynowego. W sieciach neuronowych pokładano nadzieje już od samego początku. Wiemy, że dzisiaj wyewoluowały do okropnie wielkich wynalazków, które czasem potrafią nam namieszać w głowie, ale wtedy było domniemanie, że wystarczy pozwolić im się rozrosnąć, jak już będzie dostępna moc sprzętowa czy softwarowa. Pozwolić, żeby te sieci urosły i kto wie, może zyskają świadomość.

Jak na razie urosły do rozmiarów kolosalnych i jeszcze świadome chyba nie są. Z tego co nam wyszło, wciąż chyba nie ma klasycznego odwzorowania struktury naszych komórek nerwowych w sprzęcie, a właśnie w tym poszukiwano jakiegoś Graala tej świadomości. Że w końcu rozbudujemy ten sztuczny mózg: najpierw zbudujemy go na obraz i podobieństwo naszych żywych mózgów, pozwolimy mu się rozrosnąć, damy tyle sprzętu, żeby zgadzała się pojemność, zapuścimy to i kiedyś tam zacznie być świadomy.

Zgadza się. Rzeczywiście, te wstępne założenia na temat sztucznych sieci neuronowych i odwzorowania struktury mózgu dokładnie tak zakładały. Był też taki moment, kiedy nastąpiło wypłaszczenie zdolności poznawczych takich sieci i troszeczkę zwątpiono, że faktycznie da się to zrobić. Gdzieś tam w latach 80. czy na początku 90. wtedy już brakowało mocy obliczeniowej. Te zagadnienia były na tyle wyszukane, że tej mocy po prostu nie było.

Do jakichś prostszych zadań jeszcze jakoś to działało, jednak te proste modele, tak jak można zobaczyć na wykresach, bardzo szybko łapią wypłaszczenie, gdzie już nie da się za bardzo poprawić ich wydajności i one zwyczajnie przestają działać. I tutaj też nadszedł moment zwątpienia, czy to się faktycznie skaluje tak, jak wszyscy myślą.

I tutaj wspomniany już pan Hinton, który generalnie od lat 80. się tym zajmuje, mocno propagował ideę samych sieci neuronowych, ale też metod ich uczenia. Głównie chodzi o tak zwaną wsteczną propagację, czyli samodoskonalenie się tej sieci, polegające na ciągłym poprawianiu wag w zależności od tego, jaka jest odpowiedź sieci względem oczekiwanej. Oczywiście, tam są różne ciekawe algorytmy, bardzo silny aparat matematyczny, na którym, jak już wspominałem, poległem w jednym z kursów pana Hintona na Courserze.

(śmiech) Kto by nie poległ?

Trzeba tam było policzyć pewne gradienty błędów tej sieci neuronowej i dla następnej iteracji wyznaczyć nowy współczynnik uczenia się. O to chodziło.

Zero nie wychodziło zero, a delta wychodziła ujemna.

Tak, ale to niedoskonały aparat matematyczny, a mój na pewno był niedoskonały.

Natomiast pan Hinton nieustannie się tym zajmował i wierzył, że faktycznie da się to zrobić. Gdzie w latach 80. bardzo mocno królowała tak zwana symboliczna AI, czyli przekonanie, że nie do końca musimy odwzorowywać struktury, ale bardziej polegamy na jakichś regułach matematycznych i logicznych.

Widzę pewną zbieżność z efektem, czyli oszukiwać wystarczająco dobrze.

No poniekąd. To może nie polegało na tyle na oszukiwaniu, co jednak na reprezentacji tej sztucznej inteligencji w troszkę bardziej strawny dla człowieka sposób – przez pewne przybliżenia, drzewa decyzyjne, przez pewne reguły matematyczne.

Bo jakby nie patrzeć, w przypadku sieci neuronowej, oczywiście model ogólny i zasady działania są znane, ale jak już zrobimy ten model, zwłaszcza taki duży, to już zupełnie nie wiemy, co tam się w środku dzieje. Ciężko ogarnąć te, jak już wspominaliśmy, miliardy parametrów i wag. Brakuje nam heurystyk, brakuje nawet narzędzi, żeby w łatwy sposób na przykład zdebugować teraz sygnał, który ma nam określić, czy na obrazku widzimy takie, a nie inne zwierzę, i dostać odpowiedź. Ciężko to sobie łatwo prześledzić.

Natomiast pan Hinton dość mocno wierzył, że to podejście będzie przydatne. Tak naprawdę to, co teraz jest podstawą obecnych dużych modeli językowych, czyli de facto predykcja następnego wyrazu w zdaniu… no bo tak naprawdę to jest zasada działania czatu GPT. To jest wciąż predykcja następnego wyrazu. Oczywiście, pod spodem ta predykcja następuje w bardzo skomplikowany sposób. To nie jest nawet miliard ifów, ale wciąż jest to przewidywanie następnego wyrazu.

I pan Hinton już taki model stworzył w 1986 roku. Nauczył go na kilkuset zdaniach, pewnie ręcznie wyklikanych, i udowodnił, że tego typu predykcja już wtedy jakoś zadziałała. To nie był oczywiście large language model, pewnie bardziej small albo nawet XS, ale on już prawie 40 lat temu coś takiego stworzył. Od tego momentu to rozwijał i tak naprawdę duża część zasług idzie do niego i do jego zespołu, który nad tym pracował, między innymi właśnie w Google. Więc to jest coś, co nie jest takie superświeże, jak by się mogło wydawać, patrząc na obecne newsy czy filmiki mówiące: „mamy inteligencję!”. Stoją za tym dziesiątki lat badań.

A zdaje się, że niejaki pan Markow to jeszcze wcześniej swoje modele opracowywał. Chociaż, szczerze powiedziawszy, nie pamiętam dat, ale pamiętam to zagadnienie, ponieważ w mojej nieszczęsnej pracy dyplomowej, która miała poskutkować rozpoznawaniem zdań języka naturalnego – tak brzmiał temat – a zakończyła się na rozpoznawaniu fonemów z wnioskiem, że rozwiązanie jest rozwojowe. I tam właśnie, po osiągnięciu tego rozpoznawania fonemów, co na dzisiejsze standardy było po prostu niczym, przewidywaliśmy z promotorem – w sensie bardziej promotor przewidywał niż ja – zastosowanie modeli Markowa do tego, żeby połączyć te fonemy najpierw w sylaby, a później w słowa i zdania, żeby jakoś zrekonstruować treść. Ale dalej to by było takie właśnie przewidywanie. Gdyby to zadziałało, to podejrzewam, że byłbym blisko tego, co pan Hinton zrobił dekadę z hakiem przede mną. Pewnie na jakimś ZX Spectrum czy czymś.

To właśnie tutaj był problem mocy obliczeniowej. Bo, jakby nie patrzeć, nie da się fizycznie dokładać komputerów w naszym pokoju, żeby zwiększyć moc obliczeniową. Dzisiaj mamy chmurę i łatwość skalowania, ale wtedy, kiedy on to robił, miał jeszcze gorzej niż ja. Dlatego doszedł do pewnego momentu, napotkał sufit i mógł tylko domniemywać, że jego teorie i podejście są w porządku, ale musiał to wciąż rozwijać, idąc z duchem czasu i postępu coraz lepszych maszyn. On swoją drogą był też jednym z pierwszych, który zaproponował użycie GPU do trenowania tego typu sieci, więc też był jednym z prekursorów.

Przełom w tłumaczeniach i współczesne zastosowania AI

Pierwsze przełomy w tym zaczęły się gdzieś około roku 2006, kiedy faktycznie zaczęły powstawać troszkę większe modele niż te robione w latach 80. czy 90.

To ja już miałem wtedy GeForce’a. Chyba tak. Tylko to jeszcze nie był ten duży GeForce, na pewno z architekturą CUDA by na tym nie poszedł. Chociaż nie, 2007 to później… Do sprawdzenia.

Przełom nastąpił w roku 2012, kiedy faktycznie rozpoznawanie języka i głosu stało się coraz lepsze. Mniej więcej od tego momentu widać znacznie lepsze rozpoznawanie głosu w Androidzie, które kiedyś po polsku zupełnie nie działało, a od pewnego momentu nagle zaczęło super działać.

Podobnie jak Google Translate. Może nie wszyscy kojarzą albo pamiętają, ale jeszcze w roku 2014 czy 2015 Google Translate nadawał się praktycznie tylko do tłumaczenia pojedynczych słów. Wklejając większy tekst, mieliśmy go tak z grubsza przetłumaczonego. Natomiast w 2016 roku Google podmienił swój poprzedni algorytm na wyszkolone sieci neuronowe, już takie większe modele, i od tego mniej więcej czasu tłumaczenia naprawdę weszły na wyższy poziom.

Po pierwsze, dostaliśmy tłumaczenia bardzo niszowych języków, bo można je było, można powiedzieć, dostać z automatu, nie trzeba było tego tak bardzo nadzorować. Te modele też dostały możliwość tłumaczenia przechodniego. Czyli jeśli mieliśmy tłumaczenie z angielskiego na japoński i z koreańskiego na angielski, to można było jednocześnie przetłumaczyć z japońskiego na koreański, bez bezpośredniego modelu tłumaczącego. Otworzyło się dużo nowych możliwości i od tego mniej więcej roku ja sam pamiętam i kojarzę, że nastąpił gwałtowny skok w jakości Google Translate. Naprawdę zaczął fajnie tłumaczyć całe teksty.

Na temat japońskiej poezji czytałem, gdzie jakiś badacz, na pewno znający japoński, zachwycał się tym skokiem, o którym mówisz. To było po roku 2016. Powiedział, że tłumaczył sobie bodajże poezję haiku i wcześniej nie dało się tego zrobić, bo to poezja z górnej półki, która się nie rymuje. Na wcześniejszych wersjach dostawał totalne krzaki. Natomiast już po podmianie tego tłumacza najpierw dostał takie tłumaczenie wiersza na angielski, że wywołało to u niego opad szczęki, a po trzech miesiącach wrócił do tego i dostał jeszcze fajniejsze. To pokazuje, że te algorytmy – nie chciałbym nadużywać terminu „samouczące się”, ale jakieś douczane pewnie po drodze były.

Te tłumaczenia faktycznie robiły się coraz lepsze, tym bardziej że tłumaczenie przechodnie jest narażone na pułapki tekstowe. Tu trzeba znać dobrze język, żeby przetłumaczyć z jednego na drugi. Czasem po prostu są takie krzaki po drodze, że nie da się z tego wybrnąć w prosty sposób. Zresztą nasz język jest tutaj dobrym przykładem, bo jest dość zakręcony, a teraz już tłumacz radzi sobie z nim całkiem dobrze.

Dokładnie. Rozpoznawanie mowy, tłumaczenie – w tym momencie to nie jest żaden problem. Traktujemy to w ogóle za pewnik. Po prostu wpisujemy, działa, mamy. Mamy poprawianie składni, jak piszemy wiadomości czy coś w dokumencie. To dla nas zupełnie oczywista rzecz, ale jeszcze parę lat temu wcale taka nie była. Dosłownie, to były pojedyncze słowa. Pamiętam dokładnie, jak zawsze pełno było śmiechu, gdy wklejało się pełne teksty i wychodziły jakieś totalne bzdury, bo nie było tego elementu kontekstu, zrozumienia. Może „zrozumienia” to za dużo powiedziane, ale jednak jakiegoś uchwycenia treści, która jest tłumaczona. Tutaj widać przełom.

Z pułapki w pułapkę wpadamy, bo tutaj już widzimy, że ten tłumacz już coś tam rozumie, ale on rozumie to na poziomie dla niego wystarczającym, ale na poziomie konstrukcji językowej nie wie, jak taką daną konstrukcję językową przetłumaczyć na ekwiwalent w innym języku.