DeMasKI: Teil eines breiten Forschungsnetzwerks zu digitalen Strategien gegen Desinformation

Dresden, 22.09.2026. Der Workshop „From Prompt to Propaganda: Generative AI and the New Disinformation Lifecycle“ auf dem Informatik Festival an der TU Dresden, organisiert von Prof. Dr. Marc-Oliver Pahl, Prof. Dr. Anna Altmann, Michael Jülich und Alexander Loth gemeinsam mit dem DeMasKI-Team der Gesellschaft für Informatik brachte Expert*innen aus der Informatik, Cybersicherheit, Journalismus, Sozialwissenschaften, Recht, Governance, Bildung und weiteren Fachgemeinschaften zusammen.

Der interdisziplinäre Austausch zeigte: Im Umgang mit KI-gestützter Desinformation braucht es ein Zusammenspiel technischer, zivilgesellschaftlicher und regulatorischer Ansätze. Zugleich gewinnt die Fähigkeit von Bürger*innen, Informationen kritisch zu prüfen, weiter an Bedeutung. Generative KI verändert die Intention von Desinformation zwar nicht grundlegend, senkt aber die Kosten für Erstellung und Verbreitung, erhöht Menge und Geschwindigkeit und automatisiert Arbeitsprozesse. Wie stark KI-generierte Desinformation tatsächlich überzeugt, ist laut Renée DiResta noch kaum erforscht.

Communityorientiertes Fact-Checking bei CORRECTIV

In ihrer Keynote zeigte Caroline Lindekamp am Beispiel des CORRECTIV.Faktenforums, wie Civic-Tech-Ansätze Fact-Checking stärker für die Zivilgesellschaft öffnen: Bürger*innen melden verdächtige Behauptungen selbst und werden sie unmittelbar in den journalistischen Faktenprüfungsprozess einbezogen.

Lindekamp betonte zudem die Bedeutung von Medienkompetenz, die die Entwicklung einer „redaktionellen Gesellschaft“ im Sinne von Bernhard Pörksen unterstützen kann. Fact-Checking sollte nicht allein darauf abzielen, einzelne Falschinformationen zu widerlegen. Noch wichtiger sei es, Menschen dazu zu befähigen, Informationen selbst kritisch zu hinterfragen und einzuordnen.

Desinformation – erkennen, verstehen, abwehren

Sieben Projekte des BMFTR-Förderprogramms „Desinformation – erkennen, verstehen, abwehren“ kartierten die deutsche Forschungslandschaft und stellten ihre Forschungsansätze vor. Auch das DeMasKI-Team präsentierte seinen auf der Analyse antiker Rhetorik basierenden Ansatz. Ziel ist eine nachvollziehbare und erklärbare KI, die emotionalisierende Desinformation auch in neuen Kontexten erkennt.

Die sechs weiteren Forschungsprojekte im Überblick:

• CleanFeed entwickelt Verfahren, um die Herkunft und Vertrauenswürdigkeit von Video- und Livestream-Inhalten nachvollziehbar zu machen. 
• DeMuKo untersucht Desinformation in mehrsprachigen Migrationsgesellschaften und entwickelt darauf zugeschnittene Angebote zur Stärkung digitaler Informationskompetenz
• kuKI baut eine mehrsprachige Infrastruktur zur Erkennung und gemeinsamen Bearbeitung von Desinformation auf.
• SONAR nimmt Desinformation in Audioformaten in den Blick und erforscht Methoden zur Erkennung von Narrativen und Manipulationsstrategien. 
• SOURCE schafft eine offene Infrastruktur, um Desinformationskampagnen im Web frühzeitig zu erkennen und ihre Verbreitung und Herkunft zu analysieren. 
• ViTraDes untersucht wie die Verwendung von KI im Journalismus transparent gekennzeichnet werden kann, um das Vertrauen in Medien zu erhalten und die Öffentlichkeit vor Falschinformationen zu schützen.

Weitere Informationen finden sich auf der BMFTR Webseite: https://www.forschung-it-sicherheit-kommunikationssysteme.de/forschung/it-sicherheit/desinformation

Im Laufe des Tages, kamen internationale Perspektiven hinzu:

Frankreich: Matthieu Blondeau vom Pôle d’Excellence Cyber erläuterte die französische Institutionsarchitektur, die sich vor allem gegen Informationsmanipulation von ausländischen Akteuren (FIMI) richtet. Einer der zentralen Akteure ist der Dienst VIGINUM, welcher Desinformationskampagnen aufdeckt, während der Pôle d’Excellence Cyber öffentliche Stellen, Forschung und Unternehmen vernetzt.

Ukraine: Laut Anatolii Marushchak (International Federation for Information Processing (IFIP)) gilt Desinformation in der Ukraine seit mindestens 2014 als Teil eines Informationskonflikts. Generative KI schaffe diese Bedrohung nicht, verstärke sie aber, etwa durch automatisierte Texte und Übersetzungen, falsche Identitäten, Bildmanipulation und Stimmklonen. Entscheidend sei jedoch nicht der einzelne Deepfake als die Integration generativer KI in eine operative Gesamtinfrastruktur.

Weitere Beiträge untersuchten die gesellschaftlichen Risiken KI-generierter Desinformation aus ganz verschiedenen Blickwinkeln. Léandre Lebon analysierte anhand des Rival Youth Group Case die Auswirkungen manipulierter Informationen auf urbane Krisen und das Krisenmanagement. Ergänzend dazu zeigten weitere Vorträge auf, dass trotz aller Unterschiede sowohl Menschen als auch große Sprachmodelle (LLMs) Falschinformation nicht verlässlich erkennen können.

Wie schwer das selbst für Fachleute ist, zeigte eindrücklich die Praxisphase am Nachmittag: Die Teilnehmenden erzeugeten selbst Desinformation und überzeugten damit andere Teilnehmende.

Zum Schluss betonte Renée DiResta (Georgetown University) in ihrem Vortrag, dass generative KI zwar die Produktion von Inhalten deutlich billiger macht und Inhalte damit im Überfluss verfügbar werden lässt, die Aufmerksamkeit des Publikums jedoch nicht. Ob und wie stark KI-generierte Inhalte tatsächlich überzeugen, sei bislang noch kaum erforscht.

Der Workshop verdeutlichte, dass generative KI Desinformation zwar nicht neu erfindet, ihre Produktion und Verbreitung aber massiv beschleunigt. Um Desinformation wirksam zu begegnen, braucht es daher ein Zusammenspiel aus technischen Erkennungsverfahren, journalistischem und community-basiertem Fact-Checking, regulatorischen Rahmenbedingungen und der Stärkung von Medienkompetenz. Die Diskussionen lieferten wichtige Impulse für Forschung und Praxis und legten den Grundstein für weitere projektübergreifende Zusammenarbeit.

DeMasKI ist Teil der BMFTR-Fördermaßnahme „Desinformation – erkennen, verstehen, abwehren", im Rahmen derer zwanzig interdisziplinäre Forschungsprojekte mit insgesamt mehr als 40 Millionen Euro gefördert werden. Mehr zu der Fördermaßnahme und den Projekten unter https://www.forschung-it-sicherheit-kommunikationssysteme.de/forschung/it-sicherheit/desinformation.

Bei Fragen rund um das Projekt:

Maja Denisova
maja.denisova@gi.de
Gesellschaft für Informatik e.V. (GI)
Geschäftsstelle Berlin