ChatGPT kapituliert bei Programmierfragen
US-Forschende haben ChatGPTs Fähigkeit, Programmierfragen zu beantworten und Codefragmente zu liefern, getestet. Der KI-Chatbot liefert wenig beeindruckende Ergebnisse.
Der generative KI-Chatbot ChatGPT von OpenAI ist gemäss Forschenden der Purdue University nur bedingt als Antwortgeber für Programmierfragen geeignet. Bei der Erstellung von Code-Fragmenten für Software-Vorhaben lieferte das Tool in Tests verhältnismässig viele falsche Ergebnisse – insbesondere bei Stack Overflow.
Die Ergebnisse der Testreihe seien ernüchternd, denn der Chatbot hat mit 48 Prozent noch nicht einmal die Hälfte der gestellten Fragen korrekt beantwortet. Zudem fielen 78 Prozent der Antworten im Vergleich zu menschlichen Antworten auf verschiedenen Ebenen inkonsistent aus – sie waren aber formaler, analytischer und die Tonalität weniger negativ. Nur bei knapp jedem fünften Ergebnis (22 Prozent) gab es Übereinstimmungen mit den von Menschen gegebenen Antworten.
Einen Pluspunkt kassiert ChatGPT allerdings in Sachen Verständlichkeit, wie es heisst. Der Bot sei zu 65 Prozent verständlich und die Antworten gut lesbar. Ein Problem bleibe aber nach wie vor die Fülle an gelieferten irrelevanten Infos.
Dieser Artikel ist zuerst bei "Werbewoche" erschienen.
Hacker verschaffen sich Zugriff auf Sonicwalls Cloud-Backup-Daten
Update: Qantas-Kundendaten landen im Netz
Littlebit listet Gigabyte-Produkte im DACH-Raum
Update: Die Leserwahl für den Master of Swiss Apps 2025 ist eröffnet
Update: Nationalratskommission will Rechtsgrundlage für automatische Fahrzeugfahndung
Update: Die IT-SA 2025 legt die Messlatte höher
Wie es wohl gewesen wäre, sich damals auf die Pandemie vorbereiten zu können?
Digitec Galaxus verdrängt Google als Startseite fürs Onlineshopping
Update: Bund stoppt Verlängerung der Public-Cloud-Verträge vorerst
