Chat GPT: KI Chatbot ist noch längst nicht überall perfekt. Bild: Franz 26, Informationen zu Creative Commons (CC) Lizenzen, für Pressemeldungen ist der Herausgeber verantwortlich, die Quelle ist der Herausgeber
Chat GPT kapituliert bei Stack Overflow Fragen
West Lafayette, PTE, 11. August 2023
Der generative KI Chatbot Chat GPT von Open AI ist laut #Forschern der Purdue University nur bedingt als Antwortgeber für Programmierfragen geeignet. Bei der Erstellung von Code Fragmenten für Software Vorhaben lieferte das Tool in Tests nur bedingt hilfreiche Ergebnisse insbesondere bei #Stack #Overflow.
Ernüchternde Testergebnisse
Die Ergebnisse der Testreihe sind ernüchterd, denn der #Chatbot hat mit 48 Prozent noch nicht einmal die Hälfte der gestellten Fragen korrekt beantwortet. Zudem fielen 78 Prozent der Antworten im Vergleich zu menschlichen Antworten auf verschiedenen Ebenen inkonsistent aus dennoch formaler, analytischer und in weniger negativer #Tonalität.
Bedingt dadurch konnten 39 Prozent der #Fragesteller dadurch überzeugt werden. Allerdingt gibt es nur bei 22 Prozent Übereinstimmungen zu den von Menschen gegebenen Antworten. Einen Pluspunkt kassiert Chat GPT allerdings in Sachen #Verständlichkeit, wie es heißt. Der #Bot sei zu 65 Prozent verständlich und die Antworten gut lesbar. Ein Problem bleibt nach wie vor die Fülle an gelieferten irrelevanten Infos.
