Undersøgelse: Googles Gemini er ringere end OpenAI's GPT-3.5 Turbo
Ifølge en undersøgelse foretaget af specialister fra Carnegie Mellon University og virksomheden BerriAI er Googles Gemini Pro-sprogmodel ringere end OpenAI's GPT-3.5 Turbo-model på de fleste parametre.
Her er, hvad vi ved
Ved at teste modellerne på en række forskellige opgaver, herunder multiple choice-spørgsmål om forskellige emneområder og logiske opgaver, klarede Gemini Pro sig dårligere end GPT-3.5 Turbo. Efterslæbet var især markant inden for områder som matematik, programmering og behandling af lange, komplekse forespørgsler.
Testresultater for de store sprogmodeller Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo og Mixtral
Gemini viste en fordel i ordsortering, tegnhåndtering og tekstoversættelsesopgaver. Ikke desto mindre er modellen stadig bagud i forhold til GPT-3.5 Turbo, når det gælder den samlede ydeevne.
Opgaver, hvor Gemini Pro klarede sig bedre end GPT-3.5 Turbo
En talsmand fra Google siger, at virksomhedens interne tests viser Gemini Pros overlegenhed i forhold til GPT-3.5. Derudover forventes Gemini Ultra, der kommer i 2024, at overgå alle nuværende modeller, inklusive GPT-4.
Gå dybere:
- Google har udgivet Gemini AI-modellen i tre konfigurationer
- Google er blevet beskyldt for at forfalske en video, der demonstrerer Geminis AI-kapacitet.
Kilde: VentureBeat VentureBeat