Undersøgelse: Googles Gemini er ringere end OpenAI's GPT-3.5 Turbo

Af : Bohdan Kaminskyi | 20.12.2023, 20:16

Google

Ifølge en undersøgelse foretaget af specialister fra Carnegie Mellon University og virksomheden BerriAI er Googles Gemini Pro-sprogmodel ringere end OpenAI's GPT-3.5 Turbo-model på de fleste parametre.

Her er, hvad vi ved

Ved at teste modellerne på en række forskellige opgaver, herunder multiple choice-spørgsmål om forskellige emneområder og logiske opgaver, klarede Gemini Pro sig dårligere end GPT-3.5 Turbo. Efterslæbet var især markant inden for områder som matematik, programmering og behandling af lange, komplekse forespørgsler.


Testresultater for de store sprogmodeller Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo og Mixtral

Gemini viste en fordel i ordsortering, tegnhåndtering og tekstoversættelsesopgaver. Ikke desto mindre er modellen stadig bagud i forhold til GPT-3.5 Turbo, når det gælder den samlede ydeevne.


Opgaver, hvor Gemini Pro klarede sig bedre end GPT-3.5 Turbo

En talsmand fra Google siger, at virksomhedens interne tests viser Gemini Pros overlegenhed i forhold til GPT-3.5. Derudover forventes Gemini Ultra, der kommer i 2024, at overgå alle nuværende modeller, inklusive GPT-4.

Gå dybere:

Kilde: VentureBeat VentureBeat