Meta suunnittelee valtavaa tekoälylaajennusta 1,3 miljoonalla grafiikkasuorittimella ja ennätyksellisen palvelinkeskuksen avulla

Kilpailu tekoälyn ylivallasta kiihtyy, ja Meta tekee rohkeita liikkeitä pysyäkseen edellä. Toimitusjohtaja Mark Zuckerberg ilmoitti, että yritys aikoo lopettaa vuoden 2024 yli 1,3 miljoonalla GPU:lla, mikä on yli kaksinkertainen sen nykyiseen yritysgrafiikkasuorittimeen. Tämän laajennuksen tavoitteena on nopeuttaa Metan tekoälyominaisuuksien kehitystä, mukaan lukien tuleva Llama 4 -malli, joka kilpailee OpenAI:n ChatGPT:n ja Googlen Geminin kanssa.

Kuvan luotto: David Paul Morris | Bloomberg Getty Imagesin kautta

Metan kunnianhimoisia tavoitteita ovat tekoälyavustajien tehostaminen yli miljardille käyttäjälle ja "AI-insinöörin" luominen, joka pystyy osallistumaan suoraan tutkimus- ja kehitystyöhön. Tukeakseen näitä aloitteita Zuckerberg paljasti suunnitelmansa rakentaa massiivisen datakeskuksen, johon mahtuu 1 gigawatti laskentatehoa vuoden loppuun mennessä ja jonka lopullinen kapasiteetti ylittää 2 gigawattia – mikä on ennennäkemätön mittakaava tekoälyn laskennassa. Laitoksen odotetaan ulottuvan alueelle, joka on verrattavissa merkittävään osaan Manhattania, ja se on osa 65 miljardin dollarin pääomasijoitusta vuonna 2025.

Tämä liike tapahtuu kovan kilpailun keskellä. Elon Muskin Memphis-pohjainen tekoälysupertietokone on suunnattu miljoonalle GPU:lle, kun taas Sam Altmanin 500 miljardin dollarin Project Stargate pyrkii rakentamaan tekoälylle omistettuja datakeskuksia Yhdysvaltoihin. Microsoft on myös sitoutunut 80 miljardia dollaria tekoälyä tukevaan infrastruktuuriin, mukaan lukien ydinlaitoksen uudelleenkäynnistäminen. energiantarpeita.

Tekoälyn palvelinkeskusten tehontarpeen noustessa pilviin ja joidenkin ennusteiden ollessa jopa 5 gigawattia, tekoälyn laskentakilpailu ei osoita merkkejä hidastumisesta. Metan investoinnit korostavat sen sitoutumista seuraavan sukupolven teknologisen innovaation johtamiseen.

Llama eli Large Language Model Meta AI on sarja Meta AI:n kehittämiä autoregressiivisiä kielimalleja, joka julkaistiin ensimmäisen kerran helmikuussa 2023. Alkuperäinen Llama-malli oli saatavilla vain perusmallina, ja painot rajoitettiin akateemisiin ja tutkimusorganisaatioihin. - kaupallinen lisenssi. Tiukasta pääsystä huolimatta mallin painot vuotivat verkkoon pian sen julkaisun jälkeen, mikä herätti keskustelua esteettömyydestä ja väärinkäytöstä tekoälykehityksessä.

Heinäkuussa 2023 esitelty Llama 2 merkitsi käännekohtaa sisällyttämällä siihen hienosäädetyt mallit chattiin ja laajentamalla sen lisensointia tietyn kaupallisen käytön sallimiseksi. Se myös paransi suorituskykyä harjoittamalla 40% enemmän dataa kuin edeltäjänsä. Elokuussa 2023 Meta julkaisi Code Llaman, erityisesti koodaustehtäviin suunnitellun variantin, joka osoittaa alustan monipuolisuuden.

Huhtikuussa 2024 julkistettu Llama 3 loi rajoja pidemmälle monikielisillä ja multimodaalisilla ominaisuuksilla, parannetulla päättelyllä ja laajennetuilla kontekstiikkunoilla. Sen suurin malli, jossa on 70 miljardia parametria, oli esikoulutettu 15 biljoonalla tokenilla, mikä ylitti kilpailijat, kuten Gemini Pro 1.5, tärkeimmissä vertailuissa. Heinäkuuhun 2024 mennessä Llama 3.1 esitteli uraauurtavan 405 miljardin parametrin version, mikä vahvisti entisestään Metan asemaa tekoälymaailmassa.

Kaikkien iteraatioidensa aikana Llama on kehittänyt Metan virtuaalisia avustajia ja koodaustyökaluja samalla kun se on edistänyt innovaatioita monikielisissä ja multimodaalisissa tekoälyjärjestelmissä.