xAI har åbnet kildekoden til den store sprogmodel Grok
xAI
xAI, en virksomhed ejet af Elon Musk, har på GitHub offentliggjort kildekoden til sin store sprogmodel Grok-1 med 314 milliarder parametre under den åbne Apache 2.0-licens.
Her er, hvad vi ved
Open source-udgivelsen omfatter modellens basisvægte, netværksarkitektur og andre komponenter. Som nævnt er Grok-1 ikke blevet specielt optimeret eller censureret til specifikke opgaver som dialogsystemer.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17. marts 2024
Modellen blev trænet over fire måneder frem til oktober 2023 og var designet til at generere kode, tekster og besvare spørgsmål. Åbningen af koden vil gøre det muligt for tredjepartsforskere og -udviklere at arbejde med modellen.
På trods af opdagelsen af skalaer og andre komponenter kommer Grok-1 uden træningskode og reproducerbare datasæt.
Grok-vægtene er frigivet under Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) 17. marts 2024
Det er mere open source end andre open weights-modeller, som normalt kommer med brugsrestriktioner.
Det er mindre open source end Pythia, Bloom og OLMo, som kommer med træningskode og reproducerbare datasæt. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Tilbageblik
Siden han købte Twitter (X), har Ilon Musk gentagne gange kritiseret den lukkede kildekode til konkurrenternes AI-modeller, såsom OpenAI. Nu sagsøger han OpenAI og anklager virksomheden for at overtræde sin open source-aftale.
At offentliggøre kildekoden er en almindelig praksis for at få feedback og forbedre modellerne. Men store spillere foretrækker at holde koden lukket eller give begrænsede licenser, som i tilfældet med Metas Llama 2.
Efter lanceringen af Grok-chatbotten, der er baseret på denne model, krævede den tidligere et betalt X-abonnement for at få adgang til den. Men i de indledende tests kunne den ikke måle sig med ChatGPT, Gemini og andre mere avancerede systemer.
