Utvärdering av AI-detektorer för att identifiera AI-genererade lösningsförslag på programmerings problem

Abstract

Denna studie utvärderar effektiviteten hos AI-detekteringsprogram för att identifiera AI-genererad kod, specifikt från ChatGPT. Genom en systematisk litteratursökning och urval baserat på popularitet testades tre AI-detekteringsprogram—Contentdetector, Plagiarismdetector och Copyleaks—med hjälp av gamla tentamensfrågor och lösningar från kursen Objektorienterad programmering i Java vid Chalmers tekniska högskola. De AI-genererade lösningarna jämfördes med faktiska tentamenslösningar för att bedöma detektionsnoggrannheten över olika språk och textlängder. Resultaten visar betydande variationer i programmets förmåga att detektera AI-genererad kod, vilket belyser begränsningarna och potentiella felaktigheter hos nuvarande AIdetekteringstekniker. Studien framhäver behovet av förbättrade verktyg och strategier för att säkerställa akademisk integritet i en tid av snabb AI-utveckling