Wissenschaftler des Exzellenzclusters "CISPA" sitzen an einem Tisch.
exklusiv

Einsatz von Chatbots Wie eine KI Online-Betrügern das Handwerk legt

Stand: 10.06.2025 06:00 Uhr

Ein Forscherteam aus Deutschland hat ein KI-System entwickelt, das Kriminelle täuscht und ihre Spuren verfolgt. PayPal und andere erwarten sich einen Baustein im Kampf gegen das milliardenschwere Betrugsgeschäft.

Von Svea Eckert, Angelika Henkel und Christiane Justus, NDR

Online-Betrüger gibt es viele. Doch nun bekommen sie es mit ihresgleichen zu tun, oder zumindest mit einer sehr cleveren Imitation: Ein internationales Forscherteam hat mit ScamChatBot ein KI-System gebaut, das sich als potenzielles Opfer ausgibt, um Betrüger zu enttarnen. Ziel ist es, Zahlungsinformationen aufzudecken, um so den Betrug zu bekämpfen.

"Wir haben ein System gebaut, das automatisch mit Betrügern interagiert", erklärt IT-Sicherheitsforscher Thorsten Holz vom CISPA Helmholtz-Zentrum für Informationssicherheit. Das Ziel: Sobald der Onlinebetrüger Kontodaten nennt, an die das Geld überwiesen werden soll, werden diese automatisch an Zahlungsdienstleister wie zum Beispiel PayPal weitergeleitet. Diese können dann die Konten sperren und so Internetnutzende und davor bewahren, betrogen zu werden.

18.000 Nachrichten, 500 enttarnte Betrüger

Über vier Monate tauschte ScamChatBot mehr als 18.000 Chatnachrichten mit Betrügern aus. In rund 500 Fällen gelang es, konkrete Informationen zu sammeln, darunter Wallet-Adressen, PayPal-Konten oder Links zu Betrugswebseiten. Die Plattform X bestätigte gegenüber den Wissenschaftlern, dass 84 Prozent der gemeldeten Profile gegen Richtlinien verstießen und leitete Maßnahmen gegen 1,4 Millionen verknüpfte Accounts ein.

Die Interaktionen zwischen ScamChatBot und den Betrügern verlaufen meist nach demselben Muster: Kriminelle geben sich zum Beispiel als hilfsbereite Technik-Spezialisten aus, erfragen Kontodaten, bieten vermeintliche Wiederherstellungen an und fordern schließlich Geld. Andere Online-Betrüger versuchen, digitale Geschenkkarten zu ergaunern oder ihre Opfer in vermeintlich lukrative Geldanlagen zu locken.

Das System arbeitet rund um die Uhr

Der Telefondienstleister O2 hat es mit einer Awarnesskampagne vorgemacht, ein viral gegangenes Projekt, bei dem eine vermeintlich ältere Dame namens Daisy stundenlang mit Telefonbetrügern telefonierte, um ihre Zeit zu verschwenden.

Bei AI-Arnie, dem ScamChatBot der Wissenschaftler, geht es um mehr: "In fast jedem Fall wird nach spätestens sieben Nachrichten ein Zahlungsweg angeboten", sagt Bhupendra Acharya, der das Projekt am Helmholtz-Zentrum mitentwickelt hat.

"Unsere KI kann diese Profile dann dokumentieren - samt Wallet-Adresse, PayPal-Konto oder Telegram-Kanal." Dann verzögere die KI vermeintliche Zahlungen, um weitere Informationen zu erhalten, und leite diese an Partner wie PayPal, X oder Warnplattformen für Kryptotrading und Chainabuse weiter.

Das System arbeite rund um die Uhr und nutze unterschiedliche Identitäten. Einmal aktiviert, beginnt es automatisch die Konversation, sobald es zum Beispiel auf X betrügerische Konten bemerkt. Aktuell trainieren die Forscherinnen und Forscher die KI, so dass sie auch mit Betrügern telefonieren kann.

Ein Milliardenmarkt mit menschlichen Opfern

Auf Seiten der Kriminellen ist Online-Betrug längst ein Geschäft in industriellem Maßstab. Laut dem UN-Büro für Drogen- und Verbrechensbekämpfung in Südostasien belaufen sich die Schäden weltweit auf rund 40 Milliarden US-Dollar pro Jahr. Befördert wird das unter anderem durch den Einsatz von KI, die es den Kriminellen erlaubt, Sprachbarrieren zu überwinden und automatisiert auf viele Opfer gleichzeitig zuzugehen.

Hinzu kommt eine menschenrechtlich bedenkliche Dimension: Laut den Vereinten Nationen werden in Südostasien mehr als 100.000 Menschen in sogenannten Scam-Fabriken unter Zwang festgehalten. Sie müssen unter falscher Identität betrügen, dies oft mit Hilfe von Tools wie ChatGPT. Laut UN-Analyst Benedikt Hofmann entstehen in Ländern wie Myanmar oder Laos systematisch neue Standorte für organisierten Internetbetrug, begünstigt durch instabile politische Verhältnisse.

Cybercrime in Deutschland: Zahlen steigen deutlich

Auch hierzulande zeigt sich das Problem: Im Jahr 2024 wurden laut Bundeslagebild Cybercrime mehr als 130.000 Fälle mit Tatort in Deutschland erfasst, dazu rund 202.000 Taten, deren Ursprung im Ausland liegt, die aber in Deutschland ihre Wirkung entfalten. Das Bundeskriminalamt nennt vor allem "Cybercrime-as-a-Service" als wachsenden Faktor: Kriminelle mieten sich Dienstleistungen vom Fake-Profil bis zur automatisierten Zahlungsaufforderung.

"Gerade in dem Bereich Anlagebetrug im Internet gibt es eine gravierende Tendenz zu immer steigenden Fallzahlen", erklärt Oberstaatsanwalt Nino Goldbeck von der Zentralstelle Cybercrime in Bayern. Die Verfolgung der Täter sei gerade in Ländern, die nicht mit Deutschland kooperierten, schwierig. Die Polizei setzt deshalb auf gezielte Abschaltungen von Täterplattformen.

Katz-und-Maus-Spiel mit KI

Doch auch die Cyberkriminellen entwickeln sich immer weiter. In etwa jedem vierten Fall stellte das Forscherteam fest, dass die Betrüger selbst automatisierte Texte verwendeten. Manche Online-Betrüger reagierten etwa in unter einer Sekunde, was ein Hinweis auf Bot-Nutzung ist. "Wir stehen erst am Anfang", sagt IT-Sicherheitsforscher Thorsten Holz. "Die nächste Welle an Betrugs-KI ist bereits unterwegs."

ScamChatBot soll Plattformen, Zahlungsdienstleister und Ermittlungsbehörden helfen: "Solche Systeme können frühzeitig Warnzeichen erkennen", sagt der Wissenschaftler. "Und vor allem: Sie können verhindern, dass überhaupt Geld fließt."

Zum Thema sendet das Erste heute um 22:50 eine Dokumentation mit dem Titel "Im Inneren der Cybermafia. Love. Like. Lost."