Skip to content

KI & Digitalisierung

Wie man Millionen Kommentare liest

Vier von fünf Deutschen halten das Land für gespalten. Wir zählen nach: rund 2,5 Millionen YouTube-Kommentare, ausgewertet in vier Stufen. Warum wir das machen, wie die Auswertung gebaut ist und was man daraus fürs eigene Projekt mitnimmt.

Jonas Höttler8 min Lesezeit

Das Wichtigste vorab

  1. Die Frage. Mehr als 81 Prozent der Deutschen nehmen die Gesellschaft als gespalten wahr. Wir wollten wissen, was Menschen schreiben, wenn niemand fragt, und zählen rund 2,5 Millionen öffentliche YouTube-Kommentare aus.
  2. Billig vor teuer. Die Auswertung läuft in vier Stufen. Zählen und Regeln sehen alle Kommentare. Das Sprachmodell sieht eine Stichprobe von 52.433, also rund zwei Prozent.
  3. Erst prüfen, dann deuten. Ein Sprachmodell hat 49 wiederkehrende Behauptungen zugeordnet. Von Hand nachgeprüft stimmten etwa acht von zehn Zuordnungen. Rangfolgen tragen, kleine Unterschiede nicht.
  4. Aussagen, keine Menschen. Namen werden nie gespeichert, Konten nur als Pseudonym, gezeigt werden nur Summen.
Inhalt10 Abschnitte

In einer Befragung des Mercator Forums Migration und Demokratie von 2025 nehmen mehr als 81 Prozent der Deutschen die Gesellschaft als gespalten wahr. Die Soziologen Steffen Mau, Thomas Lux und Linus Westheuser schreiben in „Triggerpunkte“ mit Verweis auf eine Reihe von Studien, im Zeitverlauf finde sich für die Bundesrepublik „kaum Evidenz für eine grundlegende ideologische Polarisierung“.

Beides stimmt gleichzeitig. Vier von fünf spüren einen Riss, und in den Einstellungen ist er schwer zu finden. Das war der Anlass für ein eigenes Projekt. Es heißt „Wie gespalten sind wir wirklich?“. Dieser Text zeigt, warum wir es machen, was wir gebaut haben und wie man so etwas auswertet.

Vom Rauschen zur Zahl · scrollen

1 von 5

Eigene Zählung, Stand 17. November 2026

rund 2,5 Mio.

öffentliche Kommentare unter 21 deutschen YouTube-Kanälen. Jeder Punkt steht für rund 800.

Erst liegen sie durcheinander. Dann werden alle gezählt und nach Regeln sortiert, ohne Modell.

Stufe 3, günstiges Sprachmodell

52.433

Kommentare liest das Sprachmodell. Das sind rund zwei Prozent des Bestands.

Zwei Ziehungen: eine zufällige und eine nach Kanal und Monat geschichtete.

Codebuch, Version 2

49

wiederkehrende Behauptungen stehen im Codebuch.

Elf davon stehen unter linken und rechten Kanälen ähnlich oft.

40 Zuordnungen von Hand nachgeprüft

etwa 8 von 10

Zuordnungen des Sprachmodells stimmten.

Die hellen Punkte sind die Fehler. Rangfolgen tragen, kleine Unterschiede nicht.

834.369 Kommentare von 288.725 Konten

19 %

aller Kommentare schreibt das aktivste Prozent der Konten.

Wer eine Kommentarspalte liest, hört zuerst Lautstärke.

  1. rund 2,5 Mio.Eigene Zählung, Stand 17. November 2026. öffentliche Kommentare unter 21 deutschen YouTube-Kanälen. Jeder Punkt steht für rund 800. Erst liegen sie durcheinander. Dann werden alle gezählt und nach Regeln sortiert, ohne Modell.
  2. 52.433Stufe 3, günstiges Sprachmodell. Kommentare liest das Sprachmodell. Das sind rund zwei Prozent des Bestands. Zwei Ziehungen: eine zufällige und eine nach Kanal und Monat geschichtete.
  3. 49Codebuch, Version 2. wiederkehrende Behauptungen stehen im Codebuch. Elf davon stehen unter linken und rechten Kanälen ähnlich oft.
  4. etwa 8 von 1040 Zuordnungen von Hand nachgeprüft. Zuordnungen des Sprachmodells stimmten. Die hellen Punkte sind die Fehler. Rangfolgen tragen, kleine Unterschiede nicht.
  5. 19 %834.369 Kommentare von 288.725 Konten. aller Kommentare schreibt das aktivste Prozent der Konten. Wer eine Kommentarspalte liest, hört zuerst Lautstärke.
Dieselben 3.200 Lichtpunkte zeichnen jede Station. Sie kommen als Rauschen an, werden gezählt, eine Stichprobe tritt vor, das Codebuch sortiert sie, die Prüfung von Hand markiert die Fehler. Die Zahlen sind ein Zwischenstand von Mitte November 2026.

Warum so eine Auswertung

Befragungen messen, was Menschen über sich sagen, wenn man sie fragt. Kommentare sind das Gegenstück. Niemand hat gefragt, niemand hat Antworten vorgegeben, und es sind sehr viele. Wer wissen will, worüber gestritten wird und worin sich Lager einig sind, findet dort Material, das eine Umfrage nicht liefert.

Für Unternehmen ist das keine akademische Frage. Kunden, Bewerber und Beschäftigte sind dieselben Menschen, die dort schreiben. Wer nur die Lautstärke hört, hält eine laute Minderheit für die Mehrheit.

Und es gibt einen zweiten Grund. Ich baue mit Balane Software für Unternehmen und berate sie. Dieselbe Technik, die hier Kommentare ordnet, ordnet auch Kundenrückmeldungen, Supportanfragen oder Freitextantworten aus Befragungen. An einem öffentlichen Beispiel lässt sich zeigen, wie man das sauber macht und wo es scheitert.

Was wir gemacht haben

Die Grundlage sind rund 2,5 Millionen öffentliche Kommentare unter 21 deutschen YouTube-Kanälen. Je sechs Kanäle haben wir vorläufig als links und als rechts eingeordnet, vier haben keine erkennbare Ausrichtung, fünf sind unpolitisch. Die unpolitischen sind die Kontrolle: Sie zeigen, was an Kommentarspalten einfach nur Kommentarspalte ist.

Geholt werden die Daten über die offizielle Schnittstelle, die YouTube Data API. Kein Scraping. Die Schnittstelle rechnet in Einheiten ab, und dort entscheidet sich, ob so ein Projekt bezahlbar bleibt: Eine Seite aus der Upload-Liste eines Kanals kostet eine Einheit, eine Suche hundert. Wir benutzen die Suche nie und halten uns an eine eigene Tagesgrenze von 9.000 Einheiten.

Gespeichert wird nach drei Regeln:

  • Nur anfügen. Rohdaten bleiben, wie sie kamen. Ein neuer Abruf ist ein neuer Datensatz mit eigenem Zeitpunkt.
  • Keine Duplikate. Dass derselbe Kommentar nicht zweimal gezählt wird, sichert die Datenbank über Schlüssel und nicht der Programmcode.
  • Jede Zahl hat eine Herkunft. Jeder Wert verweist auf den Abruf, aus dem er stammt, und jeder Abruf auf den Programmlauf mit Zeitpunkt und Code-Stand.

Im Testlauf mit 79 Probevideos waren 100 Prozent der gemeldeten Kommentare gespeichert, ohne Duplikate. Erst danach haben wir den Abruf ausgeweitet.

Pseudonymisierung: Aussagen, keine Menschen

Untersucht werden Aussagen. Politische Profile einzelner Kommentierender entstehen nicht, weder als Tabelle noch als Etikett. Technisch heißt das:

  • Die Kennung eines Kontos wird vor dem Speichern mit einem geheimen Schlüssel in ein Pseudonym umgerechnet (HMAC). Der Klarwert wird nie gespeichert.
  • Anzeigenamen werden nirgends gespeichert.
  • Erwähnungen anderer Konten im Kommentartext werden vor dem Speichern ersetzt.
  • An ein Sprachmodell geht reiner Text, nie eine Kennung oder ein Pseudonym.
  • Alle Auswertungen zeigen Summen. Kein einzelnes Konto wird politisch eingestuft.

Das Pseudonym hat genau einen Zweck: zu zählen, wie viele Konten schreiben und ob dieselben Konten unter mehreren Kanälen auftauchen.

Textanalyse in vier Stufen

Die wichtigste Entscheidung war die Reihenfolge. Jede Stufe bekommt nur, was die vorige nicht klären konnte.

  1. Zählen und Regeln, ohne Modell. Datenbankabfragen, das Sprachwerkzeug spaCy, Wortlisten. Wie viele Kommentare sind Antworten auf andere? Wie viele enthalten ein Ausrufezeichen, Großschreibung, Emojis? Das läuft über alle Kommentare und kostet fast nichts.
  2. Lokale offene Modelle. Für alles, was Regeln nicht greifen, aber kein teures Modell braucht.
  3. Ein günstiges Sprachmodell. Nur für eine Stichprobe und für unklare Fälle, mit einer harten Kostengrenze.
  4. Statistik. Gemessen an Kommentaren, die Menschen von Hand eingeordnet haben.

Schon die erste Stufe liefert Befunde. Bei Großschreibung und Emojis trennen sich politische und unpolitische Kanäle deutlich. Links und rechts liegen dagegen meist nah beieinander. Unter unpolitischen Kanälen sind kurze Kommentare häufiger.

Sie zeigt auch, was eine einfache Sentimentanalyse nicht kann. Wir zählen negative und positive Wörter nach dem Wörterbuch SentiWS der Universität Leipzig. Das ist grob. Ein Wörterbuch erkennt weder Ironie noch Verneinung. Für große Mengen ist es ein Anhaltspunkt, über einen einzelnen Kommentar sagt es nichts. Ob ein Kommentar feindselig ist, messen wir deshalb noch nicht.

Das Codebuch: Inhaltsanalyse mit Sprachmodell

Für die Inhalte reicht Zählen nicht. Hier wird aus der Auswertung eine quantitative Inhaltsanalyse, wie sie die Sozialforschung kennt: Man legt Kategorien fest, schreibt sie in ein Codebuch und ordnet jeden Text einer Kategorie zu. Neu ist nur, wer zuordnet.

Unsere Stichprobe umfasst 52.433 Kommentare. Sie besteht aus zwei Ziehungen: einer rein zufälligen und einer, die nach Kanal und Monat geschichtet ist, damit kleine Kanäle und ruhige Monate nicht untergehen. Das Codebuch enthält in seiner zweiten Fassung 49 wiederkehrende Behauptungen. Ein Sprachmodell ordnet jedem Kommentar zu, welche davon er enthält.

Elf der 49 Behauptungen stehen unter linken und rechten Kanälen ähnlich oft. Die häufigste gemeinsame lautet: Medien berichten einseitig und verschweigen Wichtiges. Unter linken Kanälen steht sie in 1,9 Prozent der Kommentare, unter rechten in 2,4 Prozent. Es sind Behauptungen der Kommentierenden. Wir haben sie nicht geprüft, und sie sind nicht unsere Meinung.

Stimmt das? Die Prüfung von Hand

Ein Sprachmodell ordnet immer etwas zu. Ob es stimmt, sagt es nicht. In der Inhaltsanalyse heißt die Frage Intercoder-Reliabilität: Kommen zwei Kodierer beim selben Text zum selben Ergebnis? Bei uns ist einer der beiden eine Maschine.

Wir haben 40 Zuordnungen von Hand nachgeprüft. Etwa acht von zehn stimmten. Das ist eine kleine Prüfung, und so behandeln wir sie. Daraus folgt eine einfache Regel für alles, was wir zeigen: Rangfolgen tragen, kleine Unterschiede nicht. Dass eine Behauptung mit Abstand die häufigste ist, hält einer Fehlerquote von zwei aus zehn stand. Dass sie links 0,5 und rechts 0,7 Prozent erreicht, ist ein Hinweis und kein Befund.

Der nächste Schritt ist größer. 1.000 Kommentare werden von Hand eingeordnet. Daran wird jedes Modell geprüft, bevor es mehr zuordnen darf. Jedes Merkmal trägt außerdem Verfahren und Version. Ändert sich ein Verfahren, steigt die Version, und die alten Ergebnisse bleiben stehen.

Erste Zahlen

Der Abruf läuft noch. Am 17. November 2026 lag der Bestand bei rund 2,5 Millionen Kommentaren. Die Zahlen in der Tabelle stammen vom 13. und 14. November, als es 1,3 Millionen waren.

ZahlWas sie sagt
834.369 Kommentare, 288.725 KontenGrundmenge unter langen Videos der 21 Kanäle
59 %der Konten haben genau einmal geschrieben
19 %aller Kommentare schreibt das aktivste Prozent der Konten
82 %der Konten schreiben nur unter einem einzigen Kanal
11 von 49Behauptungen stehen links und rechts ähnlich oft
19 von 21Kanälen enthalten die Behauptung, Medien berichteten einseitig

Wer in einer Kommentarspalte liest, hört also zuerst Lautstärke. Wenige Konten schreiben viel, und das ist in jeder Gruppe ähnlich.

Was man daraus fürs eigene Projekt mitnimmt

Die Technik ist nicht an YouTube gebunden. Wer Kundenrückmeldungen, Bewertungen oder Freitextantworten auswerten will, steht vor denselben Entscheidungen.

  1. Erst die Frage, dann die Daten. Die Auswahl der Kanäle stand fest, bevor der erste Kommentar geladen war. Sonst steckt das Ergebnis schon in der Auswahl.
  2. Die offizielle Schnittstelle nehmen und rechnen. Was ein Aufruf kostet, entscheidet über den Bauplan.
  3. Roh speichern, nie überschreiben. Alles Abgeleitete muss sich neu erzeugen lassen.
  4. Billig vor teuer. Was sich zählen lässt, wird gezählt. Das Sprachmodell bekommt den Rest, und davon eine Stichprobe.
  5. Das Modell an Menschen messen. Vor der ersten Deutung, nicht danach.
  6. Die Grenzen dazuschreiben. Zu jeder Zahl gehören Grundmenge, Datenstand und Unsicherheit.

Zählen, was sich zählen lässt. Prüfen, was ein Modell behauptet.

Was die Auswertung nicht kann

Die Gruppen bestehen aus vier bis sechs gezielt gewählten Kanälen. Die Ergebnisse gelten für diese Kanäle, nicht für YouTube und nicht für die Deutschen. Kommentierende sind der laute Teil eines Publikums. Die Einordnung der Kanäle ist vorläufig und von uns gesetzt. Und alles hier ist ein Zwischenstand.

Quellen

  • Mercator Forum Migration und Demokratie (MIDEM): Polarisierungsstudie 2025, Pressemitteilung. forum-midem.de
  • Steffen Mau, Thomas Lux, Linus Westheuser: „Triggerpunkte. Konsens und Konflikt in der Gegenwartsgesellschaft“, Leseprobe bei der Bundeszentrale für politische Bildung. bpb.de
  • SentiWS, Stimmungswörterbuch der Universität Leipzig, Version 2.0, CC BY-NC-SA 3.0. wortschatz.uni-leipzig.de
  • YouTube Data API: Kosten je Aufruf in Kontingenteinheiten. developers.google.com

Eigene Zahlen. Projekt „Wie gespalten sind wir wirklich?“, Datenstand 13. und 14. November 2026. Stichprobe für die Behauptungen: 52.433 Kommentare, Verfahren Codebuch Version 2.

Ähnliche Artikel

Jonas Höttler baut mit Balane Software für den Mittelstand.