Dartmouth-Forscher entwickelt KI-Agenten, der Umfrage-Bots mit 99.8%iger Erfolgsquote entgeht

Sean Westwood, außerordentlicher Professor für Politikwissenschaft am Dartmouth College und Direktor des Polarisationsforschungslabor , entwickelte ein KI-System, das er als „autonomen synthetischen Befragten“ bezeichnet und das in der Lage ist, Umfragefragen zu beantworten und dabei nahezu alle fortgeschrittenen Erkennungsmethoden für automatisierte Antworten zu umgehen. 

Die in den Proceedings of the National Academy of Sciences (PNAS) veröffentlichte Studie hebt hervor, dass die Online-Umfrageforschung, ein Eckpfeiler der Datenerhebung in vielen wissenschaftlichen Studien, nun durch große Sprachmodelle (LLMs) bedroht sein könnte.

Die Studie berichtet, dass der KI-Agent in 99.8 % der Fälle unentdeckt blieb. Herkömmliche Sicherheitsvorkehrungen in Umfragen, wie Aufmerksamkeitsfragen, Verhaltensindikatoren und Antwortmusteranalysen, dienen dazu, unaufmerksame Menschen oder automatisierte Bots zu identifizieren. Westwood argumentiert, dass diese Instrumente an Wirksamkeit verlieren, da sein KI-Agent Standarderkennungsmethoden umging, die in prominenten Studien beschrieben wurden, darunter auch solche, die speziell auf die Identifizierung KI-generierter Antworten abzielen. Er beantwortete auch sogenannte „umgekehrte Shibboleth“-Fragen – Aufgaben, die KI problemlos bewältigen kann, die aber für Menschen eine Herausforderung darstellen.

Laut der Studie mit dem Titel „Die potenzielle existenzielle Bedrohung großer Sprachmodelle für die Online-Umfrageforschung“ arbeitet das KI-System in Schichten: Sobald seine Logik eine Antwort ermittelt hat, führt eine zweite Schicht Aktionen aus, die menschliches Verhalten imitieren sollen. Das System simuliert realistische Lesezeiten basierend auf dem Bildungsniveau der Person, generiert menschenähnliche Mausbewegungen und tippt offene Antworten Buchstabe für Buchstabe ein, inklusive plausibler Tippfehler und Korrekturen. Es ist zudem so konfiguriert, dass es mit Tools wie reCAPTCHA funktioniert, die gängige Anti-Bot-Maßnahmen umgehen und so eine unerkennbare automatisierte Teilnahme an Online-Umfragen ermöglichen.

Studie warnt: KI-Personas könnten nationale Umfragen mit minimalem und kostengünstigem Aufwand manipulieren.

Laut der Studie ist das KI-System in der Lage, eine „kohärente demografische Persona“ zu simulieren. Theoretisch könnte es somit Online-Umfrageergebnisse manipulieren, um jedes gewünschte Ergebnis auf Basis eines KI-generierten Profils zu erzielen. Bereits wenige gefälschte Antworten würden genügen, um die Ergebnisse zu verändern. Die Studie merkt an, dass bei den sieben wichtigsten nationalen Umfragen im Vorfeld der Wahl 2024 schon 10 bis 52 KI-generierte Antworten die prognostizierten Ergebnisse hätten beeinflussen können. Die Erstellung dieser Antworten wäre extrem kostengünstig – geschätzt auf etwa fünf Cent pro Antwort – im Vergleich zu den üblicherweise an menschliche Umfrageteilnehmer gezahlten 1.50 US-Dollar.

Der KI-Agent von Westwood ist modellunabhängig und in Python implementiert, was bedeutet, dass er über APIs von führenden KI-Anbietern wie beispielsweise … funktionieren kann. OpenAI, Anthropic oder Google, oder lokal mit Open-Wave-Modellen wie LLamaIn der Studie wurden hauptsächlich folgende Tests durchgeführt: OpenAINeben dem o4-mini wurden auch andere Modelle wie DeepSeek R1, Mistral Large, Claude 3.7 Sonnet, Grok3 und Gemini 2.5 Preview eingesetzt, um die Kompatibilität des Ansatzes mit verschiedenen Sprachlernsystemen zu demonstrieren. Der Agent arbeitet mit einer einzigen Eingabeaufforderung von etwa 500 Wörtern, die ihm vorgibt, welche Art von Persona er imitieren und wie er menschenähnlich reagieren soll.

Die Studie hebt zudem mögliche Strategien zur Minderung des Risikos von KI-generierten Umfragemanipulationen hervor, wobei jede Methode Vor- und Nachteile mit sich bringt. Eine verbesserte Identitätsprüfung der Teilnehmenden könnte die Bedrohung verringern, wirft aber Bedenken hinsichtlich des Datenschutzes auf. Forschende werden außerdem dazu angehalten, die Transparenz bei der Erhebung von Umfragedaten zu erhöhen und kontrolliertere Methoden zur Rekrutierung von Teilnehmenden in Betracht zu ziehen, wie beispielsweise adressbasierte Stichproben oder die Nutzung von Wählerverzeichnissen, um die Datenintegrität zu gewährleisten.