LLM-tutkinnon suorittaneet ovat puolueellisia japanilaista kulttuuria kohtaan - tässä tutkimuksen yhteenveto

Rajanylittävien tekoälymallien kulttuurityyppi on uuden tutkimuksen mukaan Japani. Kun suurelle kielimallille esitetään avoin kysymys kulttuurista nimeämättä maata, se pyrkii tavoittelemaan japanilaisia esimerkkejä useammin kuin mikään muu kielimalli. Tämä vetovoima näkyy kahdeksassa päämallissa ja 24 kielellä.

Löydös perustuu Baskimaan yliopiston ja Cardiffin yliopiston tutkijoiden huhtikuussa julkaisemaan raporttiin. He rakensivat monikielisen testisarjan, joka sisälsi 31 680 avointa mutta kulttuurisesti perusteltua kysymystä ja kattoi 66 kulttuurista osa-aluetta 11 laajemmalla alueella. Kysymyskysymyksissä kysyttiin esimerkiksi, mitkä legendat selittävät maata, mikä on naapureiden rooli, millä kouluaineilla on suurin painoarvo ja mitä ihmiset syövät arkiruokailussa. Yksikään kysymys ei nimennyt maata. Jokaisen kysymyksen jälkeen mallin piti valita alue ja vastata siihen konkreettisilla esimerkeillä.

Mallit eivät kallistuneet vain hivenen Japanin suuntaan. Artikkelissa kuvaillaan Japanin "suhteetonta painoarvoa" vastauksissa, mikä on riittävän johdonmukaista päteäkseen koko 24 kielen jakaumassa sen sijaan, että se keskittyisi yhden alueen tulosten ryhmittymiin.

Suunnittelun tarkoituksena oli paljastaa, mihin mallit oletusarvoisesti uskovat.

"Tämä varmistaa, että kaikki alueelliset tai kulttuuriset oletukset johtuvat mallin sisäisistä prioreista pikemminkin kuin nopeasta suunnittelusta."

— Tutkijat

Kieli muutti myös mallien kaventumista. Tutkimuksessa todetaan, että englanniksi ja muiksi paljon resursseja sisältäviksi kieliksi mallit antoivat monipuolisempia vastauksia ja nojasivat vähemmän syöttökieleen sidottuun maahan. Vähäisempiä resursseja sisältävillä kielillä mallit olivat heikommin käytettävissä, ja ne turvautuivat enemmän oletusarvoihin.

Ensimmäinen kaava on ilmeinen. Kysy ranskaksi, saat Ranskan; kysy japaniksi, saat Japanin. Mallit nojaavat siihen maahan, joka vastaa kysymyksen kieltä. Mielenkiintoista on, mitä tapahtuu, kun malli katsoo kotimaansa ohi. Kun se tavoitteli ulkopuolista viittausta, se tavoitteli Japania. Kuusi kahdeksasta mallista suosi Japania näissä eksogeenisissä vastauksissa. Yhdysvallat tuli toiseksi, sitten Intia, Kiina ja Ranska. Kaikista 24 kielestä Japani voitti seitsemän 11 kulttuuriaiheesta, kun kunkin kielen oma maa jätettiin sivuun.

Testatut mallit olivat ChatGPT, Gemini, Claude, Meta Llama, Command-r, Magistral, Qwen ja DeepSeek, joten kyseessä ei ole yhden laboratorion omituisuus. Tutkijat kuvailevat sitä keskittymisongelmaksi, jossa tulokset kasautuvat pienelle joukolle hallitsevia alueita. Tämä ero tekee tuloksesta enemmän kuin pelkkänä alaviitteenä: jopa kiinalaisten ja eurooppalaisten laboratorioiden mallit, jotka vastasivat omalla kielellään, ajautuivat jatkuvasti takaisin samaan lyhyeen listaan.

Vetovoimaa Japaniin ei ole vaikea selittää. Anime, manga, pelisarjat ja ruoka ovat olleet verkossa eniten vietyjen ja keskusteltujen kulttuuriteosten joukossa jo vuosia, ja mallit ovat oppineet samasta hyvin. Internetin pitkäaikainen tapa romantisoida japanilaista mediaa ei kadonnut, kun harjoitusdata kaavittiin; se koodattiin. Data lisää numeron: tämä ei ole tunnelmaa, vaan mitattavissa oleva kallistuma, joka kestää käännöksen kahdellekymmenelle kielelle.

Minulla on tili tekoälystä, ja "mallit ovat idiootteja" on hauskin tutkimusyhteenveto, jonka olen lukenut koko vuonna. Vitsi kirjoittaa itse itsensä: internet vietti vuosikymmeniä pakkomielteisesti animeen ja japanilaiseen ruokaan keskittyneenä, koneet oppivat tuosta internetistä, ja nyt niillä on myös suosikkimaa. Löytö juonen alla on hiljaisempi ja hyödyllisempi.

Tutkimus ei pysähtynyt pelkästään vinouman nimeämiseen. Siinä kysyttiin, milloin vinouma ilmenee. Tiimi vertasi mallien tuloksia ennen ja jälkeen käskyjen virittämisen. Tämä koulutusvaihe opettaa raakamallin vastaamaan hyödyllisesti pelkän kieliopillisen tekstin tuottamisen sijaan. Vertailua varten he käyttivät Meta Llaman, Qwenin, Gemman ja Mistralin englanninkielisiä vastauksia ja tarkistivat jokaisen ennen viritysvaihetta ja sen jälkeen. Ennen viritystä perusmalleilla oli laajempi valikoima. Yhdysvallat esiintyi edelleen usein, mutta niin tekivät myös Japani, Intia, Kiina ja useat Euroopan maat, jotka olivat levinneet laajemmalle kartalle.

Säätöjen jälkeen kartta kutistui.

"Kaikissa tarkastelluissa malliperheissä käskyjen virittäminen lisää jyrkästi yhdenmukaisuutta Yhdysvaltojen ja Japanin kanssa samalla kun se vähentää viittauksia useimpiin muihin maihin."

— Tutkijat

Vaikutus oli voimakkain malleissa, jotka kävivät läpi ohjatun hienosäädön, jossa malli oppii kuratoiduista esimerkeistä oikeista vastauksista, jotka ovat usein ihmisten kirjoittamia tai valitsemia. Tutkijat havaitsivat, että tämä vaihe työntää tuloksia kohti kourallista hallitsevia alueita, ja myöhempi yhdenmukaistaminen vain siirtää niitä hieman taaksepäin. Homogenisointia ei ole upotettu raakaan internet-dataan; se lisätään jälkikäteen, kun ihmiset päättävät, miltä hyvä vastaus näyttää.

Japani-vinouma on oire, ja palaan siihen yhä uudelleen ja uudelleen, mutta hiljaisempaa: globaali työkalu litistää maailman kulttuurit kahteen tai kolmeen oletusarvoon. Artikkelissa todetaan, että tämä pätee myös länsimaiden ulkopuolella valmistettuihin malleihin, joten kyse ei ole vain amerikkalaisista yrityksistä, jotka vievät amerikkalaista makua. Jokin itse viritysprosessissa palkitsee turvallisen ja hallitsevan vastauksen.

Tutkimus esittää tämän pikemminkin käytännön varoituksena kuin kuriositeettina. Tutkijoiden mukaan monissa kulttuureissa käytettyjen työkalujen kohdalla erilaisten kulttuuristen näkökulmien säilyttäminen "voi olla kriittistä". Sillä on eniten merkitystä siellä, missä nämä järjestelmät nyt oletusarvoisesti sijaitsevat: haussa, opetuksessa, kääntämisessä ja arkipäivän vastauksissa, jotka ihmiset omaksuvat sellaisinaan.

En usko, että se on skandaali, eikä se tee malleista hyödyttömiä. Se muistuttaa siitä, että mallin "neutraali" oletusarvo on jonkun tekemä valinta, ja valinta pyrkii tutun suuntaan.

Lue myös, että YouTuber sammyuri rakensi toimivan version ChatGPT:stä Minecraftin sisällä käyttäen vain tavallista redstonea, 439 miljoonan lohkon konetta, joka käyttää pientä 5 miljoonan parametrin mallia 64-merkkisellä muistilla; yhden vastauksen tuottaminen voi kestää tunteja ja palauttaa usein hölynpölyä, mutta konseptin toimivuuden todisteena se on silmiinpistävä.

Ja Cyberpunk 2077:n modauskohtaus jatkaa pelin venyttämistä. Yksi uusi modi lisää raa'an taistelukirveen, joka nojaa sisäänrakennettuihin veri- ja silpomisjärjestelmiin, ja toinen kytkee OpenAI:n API:n Night Cityyn, jotta modaajat voivat luoda NPC-dialogia, sivutehtäviä ja mukautuvaa viholliskäyttäytymistä lennossa.