OpenAI ser ud til at være løbet tør for kvalitetsdata til GPT-5-træning

Udviklingen af GPT-5 OpenAI er blevet alvorligt hæmmet af høje omkostninger og tekniske problemer, selv om arbejdet med projektet har stået på i mere end 18 måneder.

Her er, hvad vi ved

Tidligere håbede Microsoft, at den nye model ville være klar i midten af 2024, men den deadline vil ikke blive overholdt.

Ifølge The Wall Street Journal koster hver GPT-5-træning virksomheden mere end 500 millioner dollars alene i computerkraft, men resultatet har endnu ikke levet op til forventningerne. Sammenlignet med GPT-4 er der kun opnået mindre forbedringer, og de er ikke nok til at retfærdiggøre så store udgifter.

Et af hovedproblemerne er manglen på data af høj kvalitet til at træne modellen. Det offentlige internet kan ikke levere nok forskelligartede data af høj kvalitet til at opnå de ønskede resultater. For at løse dette problem har OpenAI inviteret eksperter til at skabe nyt træningsmateriale, f.eks. softwarekode og matematiske problemer. Men denne proces er meget langsom.

For eksempel krævede GPT-4-træning 13 billioner tokens, hvilket er en enorm mængde tekst, som ikke kan indsamles på kort tid.

Virksomhedens interne problemer har også forværret situationen: Mere end to dusin nøglepersoner forlod OpenAI i 2024, herunder Chief Scientist Ilya Sutskever og CTO Mira Murati. Ud over GPT-5 arbejder virksomheden på andre projekter som o1 og Sora.

OpenAI's CEO Sam Altman bekræftede, at GPT-5 ikke vil blive vist i 2024, hvilket forsinker virksomhedens planer for udvikling af kunstig intelligens betydeligt.

Kilde: WSJ WSJ