De open-source AI-boom is gebaseerd op de hand-outs van Big Tech. Hoe lang blijft dat zo? (2023)

Afgelopen week agelekte memonaar verluidt geschreven door Luke Sernau, een senior engineer bij Google, zei hardop wat velen in Silicon Valley al weken moeten fluisteren: een open-source gratis voor iedereen bedreigt de greep van Big Tech op AI.

Nieuwe open-source modellen voor grote talen: alternatieven voorGoogle's BardofChatGPT van OpenAIdie onderzoekers en app-ontwikkelaars kunnen bestuderen, voortbouwen en aanpassen, vallen als snoep uit een piñata. Dit zijn kleinere, goedkopere versies van de best-in-class AI-modellen die zijn gemaakt door de grote bedrijven die qua prestaties (bijna) evenaren – en ze worden gratis gedeeld.

Bedrijven zoals Google, welkeonthuld tijdens de jaarlijkse productpresentatiedeze week dat het generatieve AI gooit naar alles wat het heeft, van Gmail tot Foto's tot Kaarten - we waren te druk met over hun schouders meekijken om de echte concurrentie te zien aankomen, schrijft Sernau: "Terwijl we aan het kibbelen waren, is er een derde factie rustig onze lunch eten.”

In veel opzichten is dat een goede zaak. Een grotere toegang tot deze modellen heeft innovatie gestimuleerd en kan ook helpen om hun gebreken op te sporen. AI zal niet gedijen als slechts een paar megarijke bedrijven deze technologie mogen beheren of beslissen hoe deze wordt gebruikt.

Maar deze open-sourceboom is precair. De meeste open-source releases staan ​​nog steeds op de schouders van gigantische modellen die zijn uitgebracht door grote bedrijven met diepe zakken. Als OpenAI en Meta besluiten de winkel te sluiten, kan een boomtown een opstuwing worden.

Veel van deze modellen zijn bijvoorbeeld gebouwd bovenop LLaMA, een open-source groottaalmodel dat is uitgebracht door Meta AI. Anderen gebruiken een enorme openbare dataset, de Pile genaamd, die is samengesteld door de open-source non-profitorganisatie EleutherAI. Maar EleutherAI bestaat alleen omdat de openheid van OpenAI betekende dat een aantal programmeurs in staat waren om te reverse-engineeren hoeGPT-3is gemaakt, en creëren vervolgens hun eigen in hun vrije tijd.

"Meta AI heeft geweldig werk geleverd door modellen op te leiden en vrij te geven aan de onderzoeksgemeenschap", zegt Stella Biderman, die haar tijd verdeelt tussen EleutherAI, waar ze uitvoerend directeur en hoofd onderzoek is, en het adviesbureau Booz Allen Hamilton. Ook Sernau belicht de cruciale rol van Meta AI in zijn Google-memo. (Google bevestigde aan MIT Technology Review dat de memo is geschreven door een van zijn medewerkers, maar merkt op dat het geen officieel strategiedocument is.)

Dat kan allemaal veranderen. OpenAI bestaat alhet terugdraaien van zijn eerdere open beleidwegens concurrentievrees. En Meta wil misschien het risico indammen dat nieuwelingen onplezierige dingen gaan doen met hun open-sourcecode. "Ik heb echt het gevoel dat dit nu het juiste is om te doen", zegt Joelle Pineau, de algemeen directeur van Meta AI, over het openstellen van de code voor buitenstaanders. “Is dit dezelfde strategie die we de komende vijf jaar zullen hanteren? Ik weet het niet, want AI gaat zo snel.”

Als de trend om de toegang af te sluiten doorzet, zal niet alleen de open-source-menigte op drift raken, maar zal de volgende generatie AI-doorbraken volledig in handen zijn van de grootste, rijkste AI-labs ter wereld.

De toekomst van hoe AI wordt gemaakt en gebruikt, staat op een kruispunt.

Open-source bonanza

En dan is er StableLM, een open-source groot taalmodel dat op 19 maart is uitgebracht door Stability AI, het bedrijf achter het populaire tekst-naar-beeld-modelStabiele verspreiding. Een week later, op 28 maart, bracht Stability AI StableVicuna uit, een versie van StableLM die, net als Open Assistant of HuggingChat, is geoptimaliseerd voor conversatie. (Beschouw StableLM als het antwoord van Stability op GPT-4 en StableVicuna als het antwoord op ChatGPT.)

Deze nieuwe open-sourcemodellen voegen zich bij een reeks andere die de afgelopen maanden zijn uitgebracht, waaronderAlpaca(van een team aan de Universiteit van Stanford),Dolly(van het softwarebedrijf Databricks), enCerebras-GPT(van AI-bedrijf Cerebras). De meeste van deze modellen zijn gebouwd op LLaMA of datasets en modellen van EleutherAI; Cerebras-GPT volgt een sjabloon dat is ingesteld door DeepMind. Je kunt er zeker van zijn dat er meer zullen komen.

Voor sommigen is open source een principekwestie. "Dit is een wereldwijde inspanning van de gemeenschap om iedereen de kracht van conversationele AI te bieden... om het uit de handen van een paar grote bedrijven te krijgen", zegt AI-onderzoeker en YouTuber Yannic Kilcher in eenvideo die Open Assistent introduceert.

"We zullen de strijd voor open source AI nooit opgeven",getweetJulien Chaumond, mede-oprichter van Hugging Face, vorige maand.

Voor anderen is het een kwestie van winst. Stability AI hoopt dezelfde truc te herhalen met chatbots die het met afbeeldingen heeft getrokken: brandstof en vervolgens profiteren van een uitbarsting van innovatie onder ontwikkelaars die zijn producten gebruiken. Het bedrijf is van plan het beste uit die innovatie te halen en terug te rollen in op maat gemaakte producten voor een breed scala aan klanten. "We stoken de innovatie aan, en dan kiezen we en kiezen", zegt Emad Mostaque, CEO van Stability AI. "Het is het beste bedrijfsmodel ter wereld."

Hoe dan ook, de enorme hoeveelheid gratis en open grote taalmodellen brengt deze technologie in de handen van miljoenen mensen over de hele wereld, wat velen inspireert om nieuwe tools te maken en te onderzoeken hoe ze werken. "Er is veel meer toegang tot deze technologie dan ooit tevoren", zegt Biderman.

"Het ongelooflijke aantal manieren waarop mensen deze technologie hebben gebruikt, is ronduit verbluffend", zegt Amir Ghavi, een advocaat bij de firma Fried Frank die een aantal generatieve AI-bedrijven vertegenwoordigt, waaronder Stability AI. "Ik denk dat dat een bewijs is van menselijke creativiteit, en dat is het hele punt van open-source."

Smeltende GPU's

Maar het is moeilijk om grote taalmodellen vanaf het begin te trainen, in plaats van erop voort te bouwen of ze aan te passen. "Het is nog steeds buiten het bereik van de overgrote meerderheid van de mensen", zegt Mostaque. "We hebben een aantal GPU's omgesmolten door StableLM te bouwen."

De eerste release van Stability AI, detekst-naar-beeld-modelStabiele diffusie, werkte net zo goed als, zo niet beter dan, gesloten equivalenten zoals Google's Imagen en OpenAI'sGEEF HAAR. Het was niet alleen gratis te gebruiken, maar het draaide ook op een goede thuiscomputer. Stable Diffusion heeft vorig jaar meer dan enig ander model gedaan om de explosie van open-sourceontwikkeling rond beeldvormende AI op gang te brengen.

MITTR | GETTY

Deze keer wil Mostaque echter de verwachtingen managen: StableLM komt niet in de buurt van GPT-4. "Er is nog veel werk aan de winkel", zegt hij. “Het is niet zoals Stable Diffusion, waar je meteen iets hebt dat super bruikbaar is. Taalmodellen zijn moeilijker te trainen.”

Een ander probleem is dat modellen moeilijker te trainen zijn naarmate ze groter worden. Dat heeft niet alleen te maken met de kosten van rekenkracht. Het trainingsproces loopt vaker vast bij grotere modellen en moet opnieuw worden gestart, waardoor die modellen nog duurder worden om te bouwen.

In de praktijk is er een bovengrens aan het aantal parameters dat de meeste groepen kunnen trainen, zegt Biderman. Dit komt omdat grote modellen over meerdere verschillende GPU's moeten worden getraind en het ingewikkeld is om al die hardware aan elkaar te koppelen. "Het succesvol trainen van modellen op die schaal is een heel nieuw gebied van high-performance computing-onderzoek", zegt ze.

Het exacte aantal verandert naarmate de technologie vordert, maar op dit moment legt Biderman dat plafond ruwweg in het bereik van 6 tot 10 miljard parameters. (Ter vergelijking: GPT-3 heeft 175 miljard parameters; LLaMA heeft er 65 miljard.) Het is geen exacte correlatie, maar over het algemeen presteren grotere modellen veel beter.

Biderman verwacht dat de golf van activiteit rond open-source grote taalmodellen zal aanhouden. Maar het zal gericht zijn op het uitbreiden of aanpassen van een paar bestaande vooraf getrainde modellen in plaats van de fundamentele technologie vooruit te helpen. "Slechts een handvol organisaties hebben deze modellen vooraf getraind en ik verwacht dat dit in de nabije toekomst zo zal blijven", zegt ze.

Daarom zijn veel open-sourcemodellen gebouwd bovenop LLaMA, dat helemaal opnieuw is getraind door Meta AI, of releases van EleutherAI, een non-profitorganisatie die uniek is in zijn bijdrage aan open-sourcetechnologie. Biderman zegt dat ze maar één andere soortgelijke groep kent – ​​en dat is in China.

EleutherAI is begonnen dankzij OpenAI. Terugspoelen naar 2020 en het in San Francisco gevestigde bedrijf had net een hot nieuw model uitgebracht. "GPT-3 was voor veel mensen een grote verandering in hoe ze dachten over grootschalige AI", zegt Biderman. "Het wordt vaak gezien als een intellectuele paradigmaverschuiving in termen van wat mensen van deze modellen verwachten."

Opgewonden door het potentieel van deze nieuwe technologie, wilden Biderman en een handvol andere onderzoekers met het model spelen om een ​​beter begrip te krijgen van hoe het werkte. Ze besloten het te repliceren.

OpenAI had GPT-3 niet uitgebracht, maar het deelde wel genoeg informatie over hoe het was gebouwd voor Biderman en haar collega's om het uit te zoeken. Niemand buiten OpenAI had ooit eerder een dergelijk model getraind, maar het was midden in de pandemie en het team had weinig anders te doen. "Ik deed mijn werk en speelde bordspellen met mijn vrouw toen ik erbij betrokken raakte", zegt Biderman. “Het was dus relatief eenvoudig om er 10 tot 20 uur per week aan te besteden.”

Hun eerste stap was het samenstellen van een enorme nieuwe dataset, met miljarden tekstpassages, om te wedijveren met wat OpenAI had gebruikt om GPT-3 te trainen. EleutherAI noemde zijn dataset de Pile en bracht deze eind 2020 gratis uit.

EleutherAI gebruikte deze dataset vervolgens om zijn eerste open-sourcemodel te trainen. Het grootste model dat EleutherAI trainde, duurde drie en een halve maand en werd gesponsord door een cloud computing-bedrijf. "Als we het uit eigen zak hadden betaald, zou het ons ongeveer $ 400.000 hebben gekost", zegt ze. “Dat is veel gevraagd voor een universitaire onderzoeksgroep.”

Helpende hand

Vanwege deze kosten is het veel gemakkelijker om bovenop bestaande modellen te bouwen. Meta AI's LLaMA is snel het startpunt geworden voor veel nieuwe open-sourceprojecten. Meta AI leunt sinds de oprichting door op open-sourceontwikkelingYann LeCuneen decennium geleden. Die mentaliteit maakt deel uit van de cultuur, zegt Pineau: "Het is echt een vrije markt, 'beweeg snel, bouw dingen'-benadering."

Pineau is duidelijk over de voordelen. "Het diversifieert echt het aantal mensen dat kan bijdragen aan de ontwikkeling van de technologie", zegt ze. "Dat betekent dat niet alleen onderzoekers of ondernemers, maar ook civiele overheden enzovoort inzicht kunnen krijgen in deze modellen."

Net als de bredere open-sourcegemeenschap zijn Pineau en haar collega's van mening dat transparantie de norm zou moeten zijn. "Een ding waar ik mijn onderzoekers toe dwing, is een project starten met het idee dat je open source wilt gebruiken", zegt ze. "Want als je dat doet, legt het een veel hogere lat wat betreft welke gegevens je gebruikt en hoe je het model bouwt."

Maar er zijn ook serieuze risico's. Grote taalmodellen spuwen desinformatie, vooroordelen en haatdragende taal. Ze kunnen worden gebruikt voor massaproductie van propaganda of om malwarefabrieken van stroom te voorzien. "Je moet een afweging maken tussen transparantie en veiligheid", zegt Pineau.

Voor Meta AI kan die wisselwerking betekenen dat sommige modellen helemaal niet worden uitgebracht. Als het team van Pineau bijvoorbeeld een model heeft getraind op Facebook-gebruikersgegevens, dan blijft dat in huis, omdat het risico dat er privé-informatie uitlekt te groot is. Anders kan het team het model vrijgeven met een doorkliklicentie die specificeert dat het alleen voor onderzoeksdoeleinden mag worden gebruikt.

Dit is de benadering die het voor LLaMA had. Maar binnen enkele dagen na de release plaatste iemand het volledige model en instructies om het uit te voeren op het internetforum 4chan. "Ik denk nog steeds dat het de juiste afweging was voor dit specifieke model", zegt Pineau. "Maar ik ben teleurgesteld dat mensen dit zullen doen, want het maakt het moeilijker om deze releases te doen."

"We hebben altijd sterke steun gehad van de leiding van het bedrijf tot Mark [Zuckerberg] voor deze aanpak, maar het komt niet gemakkelijk", zegt ze.

De inzet voor Meta AI is hoog. "De potentiële aansprakelijkheid van iets geks doen is een stuk lager als je een heel kleine startup bent dan als je een heel groot bedrijf bent", zegt ze. "Op dit moment geven we deze modellen vrij aan duizenden individuen, maar als het problematischer wordt of als we het gevoel hebben dat de veiligheidsrisico's groter zijn, sluiten we de cirkel en geven we alleen vrij aan bekende academische partners met zeer sterke referenties - onder vertrouwelijkheidsovereenkomsten of NDA's die voorkomen dat ze iets met het model bouwen, zelfs niet voor onderzoeksdoeleinden.

Als dat gebeurt, zouden veel lievelingen van het open-source-ecosysteem kunnen ontdekken dat hun licentie om voort te bouwen op wat Meta AI vervolgens uitbrengt, is ingetrokken. Zonder LLaMA zouden open-sourcemodellen zoals Alpaca, Open Assistant of Hugging Chat lang niet zo goed zijn. En de volgende generatie open-source-innovators zal niet de voorsprong krijgen die de huidige groep heeft gehad.

In de balans

Anderen wegen ook de risico's en voordelen van deze open-source gratis voor iedereen af.

Rond dezelfde tijd dat Meta AI LLaMA uitbracht, rolde Hugging Face een poortmechanisme uit, zodat mensen toegang moeten vragen - en moeten worden goedgekeurd - voordat ze veel van de modellen op het platform van het bedrijf kunnen downloaden. Het idee is om de toegang te beperken tot mensen die een legitieme reden hebben - zoals bepaald door Hugging Face - om het model in handen te krijgen.

"Ik ben geen open-source-evangelist", zegt Margaret Mitchell, hoofdethiekwetenschapper bij Hugging Face. "Ik zie redenen waarom gesloten zijn heel logisch is."

Mitchell wijst op pornografie zonder wederzijds goedvinden als een voorbeeld van de keerzijde van het algemeen toegankelijk maken van krachtige modellen. Het is een van de belangrijkste toepassingen van AI voor het maken van afbeeldingen, zegt ze.

Mitchell, die eerder bij Google werkte en medeoprichter was van het Ethical AI-team, begrijpt de spanningen die spelen. Ze is voorstander van wat ze 'verantwoorde democratisering' noemt - een benadering die vergelijkbaar is met die van Meta AI, waarbij modellen op een gecontroleerde manier worden vrijgegeven op basis van hun potentiële risico om schade aan te richten of te worden misbruikt. "Ik waardeer open-source-idealen enorm, maar ik denk dat het nuttig is om een ​​of ander mechanisme voor verantwoording te hebben", zegt ze.

OpenAI sluit ook de spigot af. Toen het vorige maand GPT-4 aankondigde, de nieuwe versie van het bedrijf van het grote taalmodel dat ChatGPT aandrijft, stond er een opvallende zin in het technische rapport: "Gezien zowel het concurrentielandschap als de veiligheidsimplicaties van grootschalige modellen zoals GPT- 4 bevat dit rapport geen verdere details over de architectuur (inclusief modelgrootte), hardware, trainingscomputer, datasetconstructie, trainingsmethode of iets dergelijks.

Deze nieuwe beperkingen worden deels ingegeven door het feit dat OpenAI nu een op winst gericht bedrijf is dat concurreert met Google. Maar ze weerspiegelen ook een verandering van hart. Mede-oprichter en hoofdwetenschapper Ilya Sutskever heeft gezegd in eeninterview met The Vergedat de openheid van zijn bedrijf in het verleden een vergissing was.

OpenAI heeft zeker de strategieën veranderd als het gaat om wat wel en niet veilig is om openbaar te maken, zegt Sandhini Agarwal, een beleidsonderzoeker bij OpenAI: "Als iets vroeger open-source was, zou een kleine groep knutselaars er misschien om geven. Nu is de hele omgeving veranderd. Open-source kan de ontwikkeling echt versnellen en leiden tot een race naar de bodem.”

Maar het was niet altijd zo. Als OpenAI drie jaar geleden zo had gedacht toen het details over GPT-3 publiceerde, zou er geen EleutherAI zijn.

Tegenwoordig speelt EleutherAI een centrale rol in het open-source ecosysteem. Sindsdien heeft het verschillende grote taalmodellen gebouwd en is de Pile gebruikt om talloze open-sourceprojecten te trainen, waaronder Stability AI's StableLM (Mostaque zit in het bestuur van EleutherAI).

Dit was allemaal niet mogelijk geweest als OpenAI minder informatie had gedeeld. Net als Meta AI maakt EleutherAI veel open-source innovatie mogelijk.

Maar met GPT-4 - en 5 en 6 - vergrendeld, zou de open-source-menigte weer kunnen worden overgelaten aan het sleutelen in het kielzog van een paar grote bedrijven. Ze kunnen wilde nieuwe versies produceren en misschien zelfs een aantal producten van Google bedreigen. Maar ze zullen opgescheept zitten met de modellen van de laatste generatie. De echte vooruitgang, de volgende sprongen voorwaarts, zullen achter gesloten deuren plaatsvinden.

Maakt dit uit? Hoe men denkt over de impact van het afsluiten van toegang door grote technologiebedrijven, en de impact die dat zal hebben op open-source, hangt sterk af van wat je denkt over hoe AI moet worden gemaakt en wie het moet maken.

"AI zal de komende decennia waarschijnlijk een aanjager zijn van hoe de samenleving zich organiseert", zegt Ghavi. "Ik denk dat het hebben van een breder systeem van controles en transparantie beter is dan het concentreren van de macht in de handen van enkelen."

Biderman is het daarmee eens: "Ik denk absoluut niet dat er een soort morele noodzaak is dat iedereen open source doet", zegt ze. "Maar uiteindelijk is het best belangrijk dat mensen deze technologie ontwikkelen en er onderzoek naar doen. die niet financieel geïnvesteerd zijn in het commerciële succes ervan."

Toch is ze duidelijk over de inzet. "Ik ben eigenlijk veel minder kritisch over OpenAI dan veel mensen denken dat ik zou zijn", zegt ze. "Er zijn reële risico's verbonden aan het publiekelijk vrijgeven van deze technologie, echte potentiële gevaren."

OpenAI beweert dat het gewoon op safe speelt. "Het is niet dat we denken dat transparantie niet goed is", zegt Dave Willner, hoofd van de vertrouwens- en veiligheidsteams van OpenAI. “Het is meer dat we proberen uit te vinden hoe we transparantie kunnen verzoenen met veiligheid. En naarmate deze technologieën krachtiger worden, is er in de praktijk enige spanning tussen die dingen.

"Veel normen en denkwijzen in AI zijn gevormd door academische onderzoeksgemeenschappen, die samenwerking en transparantie waarderen, zodat mensen op elkaars werk kunnen voortbouwen", zegt Willner. "Misschien moet dat een beetje veranderen naarmate deze technologie zich ontwikkelt."