Inhoudsintegriteit in het tijdperk van generatieve AI
Een op maat gemaakt detectiesysteem dat door studenten geschreven aantekeningen onderscheidt van door AI gegenereerde uploads, ter bescherming van een wereldwijde kennisdelingsbibliotheek.
Resultaat
Twee keer zo hoog detectiepercentage als de detectoren die in de industrie standaard zijn, waarbij tot 98% van AI- en gebruikersgegenereerde content in documenten wordt opgespoord.
Het probleem achter de opdracht
Het businessmodel van Studeersnel draait op studenten die authentiek studiemateriaal delen. Large language models zorgden voor een nieuw risico: een toestroom van AI-gegenereerde uploads die de kwaliteit en betrouwbaarheid van de bibliotheek zou aantasten.
Om het vertrouwen van gebruikers te behouden, moest Studeersnel kunnen aangeven waar elk document vandaan kwam. Kant-en-klare detectoren waren niet nauwkeurig genoeg voor academisch schrijven, en het systeem moest de zeer grote dagelijkse uploadvolumes bijhouden.
Zo pakten we de bouw aan
Eén team nam strategie, data en AI engineering voor zijn rekening en werkte van de eerste assessment tot de livegang vanuit dezelfde beslissingen.
Strategie
Het werk draaide om technische risicobeperking en datakwaliteit. Een detector werkt alleen als hij begrijpt hoe studententeksten verschillen van machinetekst. Daarom richtte het plan zich eerst op het maken van trainingsdata van hoge kwaliteit, voordat het probleem breed bekend werd.
Data
Het team bouwde een datastructuur om AI-content in bulk te genereren en stelde een trainingsset samen waarmee je tekst van mensen en machines nauwkeurig kunt vergelijken.
Engineering
Het team finetunede het taalmodel RoBERTa voor detectie in een academische context en integreerde het in de bestaande pipeline van Studocu, zodat documenten in realtime worden beoordeeld.
Wat het heeft opgeleverd
Prestaties
Twee keer de branchestandaard voor detectie
Het aangepaste model detecteert tot 98% van AI- en door gebruikers gegenereerde content in documenten, en ongeveer 80% in vraagantwoorden.
Vertrouwen
Geverifieerde authenticiteit van content
Doordat Studocu weet waar elk document vandaan komt, houdt het een bibliotheek met authentiek, door studenten geschreven materiaal. Dat is de kern van het platform.
Capaciteit
Een voorsprong op generatieve AI
Het systeem werd gebouwd vóór de publieke opkomst van generatieve AI en stelde Studocu in staat te schalen zonder concessies te doen aan de integriteit van de content.
"Miyagami hielp ons een goed presterend AI-model te ontwikkelen. Dat het eindproduct zo effectief werkt, geeft ons precies de voorsprong die we nodig hadden."
Ontvang binnen vijf werkdagen een shortlist
Je deelt de rollen en de stack in een kort formulier of een gesprek van dertig minuten. Binnen vijf werkdagen krijg je senior engineers met naam en toenaam om te beoordelen, elk met beide scorecards.
ISO 27001Gecertificeerd