76 Prozent sind keine Antwort

Gedanken. Was mir beim Bauen auffällt.

„Die Wahrscheinlichkeit, dass der Gewinn um mehr als zwanzig Prozent einbricht, liegt bei 76 Prozent." Der Satz klingt wichtig und ist fast nichts wert. Der Satz, der etwas wert ist, lautet: „76 Prozent, und 46 Prozent dieser Streuung verschwinden, wenn du eine einzige Annahme misst, die du bisher geraten hast." Zwischen diesen beiden Sätzen liegt der ganze Artikel.

Der erste Satz ist eine Vorhersage. Vorhersagen über komplexe Systeme sind billig und meistens falsch. Ich habe ein Dutzend berühmter ökonomischer Zusammenhänge ehrlich nachgerechnet, out-of-sample, mit Konfidenzintervall. Überlebende: null. Wer nach dieser Erfahrung noch eine Punktprognose kauft, kauft Unterhaltung.

Der zweite Satz ist keine Vorhersage. Er ist eine Aussage über die eigene Unwissenheit. Und die kann man angreifen, weil sie sagt, wo man ansetzen muss.

Die Zahl, die nichts sagt

Eine Punktprognose ist eine Verteilung, die jemand zusammengefaltet hat. „Der Prozessschritt dauert 7,5 Minuten" ist die zusammengefaltete Version von „5 bis 10 Minuten, meistens 7". Beim Falten geht genau das verloren, wofür du die Zahl haben wolltest: die Spanne, in der du dich irrst.

Ein Band statt einer Zahl ist der erste Schritt, und er ist erst die Hälfte. Denn ein Band beantwortet immer noch die falsche Frage. Die falsche Frage lautet: „Wie wird es kommen?" Die richtige lautet: „Wie sicher sind wir, und was müssten wir wissen, damit es sicherer wird?"

Der Unterschied ist keine Wortklauberei. Er entscheidet, ob am Ende der Rechnung eine Handlung steht oder ein Achselzucken.

Sieh dir an, was beim Auffalten passiert. Scroll langsam.

Die Striche sind vorher und nachher dieselben. Was fehlte, war nie die Rechnung. Es war der Satz.

Zwei Arten, etwas nicht zu wissen

Das ist die These, auf der alles steht, und sie ist unbequem einfach.

Die Welt würfelt. Die Nachfrage im nächsten Quartal wird, was sie wird. Kein Studium der Welt legt sie fest. Diese Unsicherheit kannst du nicht wegarbeiten, du kannst sie nur bepreisen. Im Fachjargon: aleatorisch. Der Lottoartikel handelt vom Reinfall, der entsteht, wenn man diesen Teil für vorhersagbar hält.

Du weißt es nicht. Du hast eine Wirkungsstärke geraten. Du hast ein p90 geschätzt statt gemessen. Du hast eine Basislinie aus einem Report übernommen, den niemand geprüft hat. Diese Unsicherheit ist entfernbar. Fachjargon: epistemisch. Und sie ist der einzige Teil, für den es eine Rechnung gibt, die du bezahlen kannst.

Die Trennung dieser beiden Teile ist das Produkt. Alles andere ist Ausgestaltung.

Denn beide sehen im Ergebnis identisch aus. Ein breites Band kann heißen „die Welt ist wild" oder „ich habe geraten". Das ist derselbe Balken auf dem Papier und die exakt gegenteilige Handlungsempfehlung. Im ersten Fall baust du Puffer. Im zweiten greifst du zum Telefon und rufst den Einkauf an.

Die nächste Zeichnung ist die wichtigste im ganzen Artikel. Nimm dir die dreißig Sekunden.

Achte auf die untere Klammer. Sie ist am Ende exakt so lang wie am Anfang. Messen hat die Welten zusammengeschoben und die Würfel nicht angefasst. Wer das verwechselt, verspricht sich von Daten etwas, das Daten nicht liefern.

Wie man das trennt: zwei Schleifen

Die Trennung wird nicht behauptet, sie wird erzeugt. Durch Schachteln.

äußere Schleife, M Welten:  ziehe, was du nicht weißt.
                            Wirkungsstärken, Priors, Basislinien, Verteilungsverschiebungen.
innere Schleife, N Würfe:   ziehe, was die Welt würfelt.
                            Die Treiber, korreliert, durch ihre Verteilungen.

Jede Welt ist ein vollständiger Wissensstand: „Angenommen, die Elastizität ist wirklich 0,7 und die Basislinie stimmt." Innerhalb dieser Welt würfelt die Welt tausendmal. Dann die nächste Welt, mit anderem Wissensstand, wieder tausend Würfe.

Nach dem Satz von der totalen Varianz zerfällt die Streuung damit sauber:

aleatorisch = E_Welt[ Var_innen ]     die Welt würfelt; kein Wissen legt das fest
epistemisch = Var_Welt[ E_innen ]     du weißt es nicht; Messen legt es fest

Die Streuung innerhalb einer Welt ist der Würfel. Die Streuung zwischen den Welten ist dein Nichtwissen. Ein Lauf sind bei mir 512 Welten mal 2000 Würfe, also gut eine Million Simulationen, und er dauert Hunderte von Millisekunden. Das ist der Grund, warum die Oberfläche kein Bericht ist, sondern ein Gerät, an dem man dreht.

Ein Tornado-Diagramm kann das nicht. Es bewegt einen Eingang nach dem anderen, deterministisch, und es kann nicht sagen, wie viel vom Band verschwindet, wenn du misst. Es zeigt dir, welcher Regler laut ist. Nicht, welcher Regler dir gehört.

Dieselben Würfel, und was sie kosten

Jede Welt bildet dieselben Zufallszahlen durch ihre eigenen Verteilungen ab. Ein innerer Wurf ist also „dasselbe Perzentil", nicht „derselbe Wert". Damit ist der Unterschied zwischen zwei Welten rein Nichtwissen und nichts anderes.

Das ist load-bearing. Der schärfste Test des ganzen Werkzeugs ist deshalb nicht statistisch: Vergleiche ich eine Variante gegen einen identischen Fall, muss die Differenz exakt null sein. Nicht null im Erwartungswert. Null.

Geteilte Würfel sind nicht gratis. Sie machen das Design gekreuzt, und der Standardfehler zerfällt in drei Teile statt zwei:

Der mittlere Term ist die Falle. Er ist allen Welten gemeinsam, also schrumpft ihn keine Anzahl von Welten. Wer ihn wegrechnet, unterschätzt sein eigenes Fehlerband um ein Mehrfaches, und zwar am stärksten genau dann, wenn das Werkzeug am zuversichtlichsten aussieht.

Deshalb steht in meinem Bericht nicht „76,1 Prozent", sondern „76,1 Prozent, plus minus 2,5 Prozentpunkte". Und wenn das Band fünf Punkte überschreitet, steht dort keine feste Zahl mehr, sondern „zu unsicher für eine feste Zahl". Ein Werkzeug, dessen ganze These „wisse, wo du schwach bist" lautet, darf über sich selbst keine falsche Präzision drucken.

Drei Zahlen werden eine Verteilung

Der Autor eines Falls gibt drei Zahlen an: p10, p50, p90. Schlechter Fall, mittlerer Fall, guter Fall. Das ist das einzige Elizitierungsformat, in dem Menschen halbwegs gut sind. Niemand kann eine Verteilungsfamilie wählen, und niemand sollte gefragt werden.

Die Familie wird abgeleitet. Ich benutze einen Metalog, weil er linear in seinen Koeffizienten ist: drei Quantile fixieren drei Terme durch einen exakten linearen Löser. Kein Optimierer, keine entartete Richtung, keine Startwerte.

Warum nicht lognormal oder Student-t, wie es die halbe Welt macht? Beide haben einen Lageparameter, der beim Fitten von drei Quantilen dem p10 hinterherläuft. Die Streuung explodiert zum Ausgleich, die mittleren Quantile passen weiter brav, und der Rand wird Unsinn. Im Test hatte ein log-Student-t für Rohmaterialkosten mit den völlig harmlosen Angaben 0,93 / 1,0 / 1,35 ein p99,9 vom 55-fachen der Basis. Das ist keine Verteilung, das ist ein Generator für Vorstandssitzungen.

Und dann die Stelle, an der fast jedes Modell still verunglückt: die Grenzen.

Eine Untergrenze ist nicht harmlos. Unter einer Log-Transformation kappt sie nicht bloß links, sie bläst den rechten Rand auf. Dieselben drei Zahlen festgehalten und die Untergrenze von 0,0 auf 0,9 geschoben nimmt das implizierte p99,9 von 2,8 auf 13,6.

Niemand erwartet das. Also meldet jeder Fit die Extremquantile, die er impliziert, und eine Grenze nahe am p10 löst einen Hinweis aus.

Was es dagegen nicht gibt, ist ein Regler „Rand: fett". Ein Regler, den niemand kalibrieren kann, ist schlimmer als eine Zahl, vor der sich niemand verstecken kann.

Treiber fallen gemeinsam, und darum geht es

Ohne Korrelation untertreibt Monte Carlo die Ränder systematisch. Chips und Personal fallen zusammen aus. Energie und Rohstoffe steigen zusammen. Und die Ränder sind das Produkt: Niemand baut eine Simulation, um den Mittelwert zu erfahren.

Deklariert wird eine Rangkorrelation, weil das die Zahl ist, die ein Mensch behaupten kann. Danach kommt die Stelle, an der die meisten Werkzeuge schweigen.

Die Gauß-Copula hat null Randabhängigkeit. Unter ihr geht die Chance, dass der zweite Treiber ebenfalls extrem ist, gegen den unabhängigen Wert, je weiter man hinausgeht. Egal wie hoch die deklarierte Korrelation. Gemeinsame Katastrophen werden also genau dort untertrieben, wo gelesen wird. Für ein Werkzeug, dessen These die Ränder sind, ist das eine starke Behauptung, um sie stillschweigend zu treffen.

Die t-Copula behebt das mit einer einzigen zusätzlichen Zahl. Man zieht die Treiber gemeinsam und teilt einen zusätzlichen Wurf: „wie heftig ist diese Welt". Dieses geteilte Etwas ist der ganze Mechanismus, denn genau das tut ein gemeinsamer Schock. Bei einer Korrelation von 0,55 und sechs Freiheitsgraden liegt die Randabhängigkeit bei rund 0,2. Unter Gauß bei 0. Gleiche deklarierte Korrelation, fundamental andere Katastrophe.

Das lässt sich nicht als Punktwolke zeigen. Bei dieser Korrelation legen beide Kopplungen ungefähr gleich viele Punkte in jede Ecke, die man noch sehen kann. Der Unterschied öffnet sich erst so weit draußen, dass eine sichtbare Wolke dort nichts mehr hat. Also die Größe, die ihn trägt.

Links sind die beiden nicht zu unterscheiden. Rechts geht die eine Kurve nach unten weg und die andere nicht. Wer seine Copula nach der Mitte aussucht, hat den Rand mitgewählt, ohne ihn anzusehen.

Was als Nächstes zu messen ist

Jetzt der Teil, für den das alles gebaut ist.

Für jede Annahme, die einmal pro Welt gezogen wird, lässt sich fragen: Wie viel der Streuung zwischen den Welten verschwände, wenn diese eine Annahme bekannt wäre? Das kostet eine Regression über M Punkte. Keine zusätzliche Simulation, kein zweiter Lauf, nichts.

Der Fall, an dem ich das entwickelt habe, ist ein Autohersteller mit Chipabhängigkeit. Fünf Treiber, acht Folgegrößen, vier gefaltete Beobachtungen, Horizont zwölf Monate. Wichtig, bevor jemand die Zahlen zitiert: Das ist mein Modell von außen, mit geratenen Annahmen, und es sagt nichts über das Unternehmen. Es sagt etwas über das Modell. Genau das ist der Punkt.

Der Lauf sagt:

Lies die vorletzte Zeile noch einmal. Der stärkste Hebel im ganzen Modell ist eine Zahl, die jemand hingeschrieben hat, ohne eine Quelle dafür zu haben. Das ist der Normalfall, nicht die Ausnahme, und ohne diese Rechnung sieht man es nie.

Zwei Ehrlichkeitsauflagen hängen daran, und keine davon ist Dekoration.

Die Anteile summieren sich nicht auf eins. Indizes erster Ordnung ignorieren Wechselwirkungen. Der Satz lautet deshalb „46 Prozent der entfernbaren Streuung gingen weg, wenn du den Nachfrageschock allein misst" und niemals „46 Prozent kommen vom Nachfrageschock". Das erste trägt der Schätzer. Das zweite wäre eine Zerlegungsbehauptung, die er nicht machen kann. Die Rangliste sagt außerdem, wie viel sie verfehlt: Sie deckt 77 Prozent ab, der Rest ist Wechselwirkung, die keine einzelne Messung einsammelt.

Kein Binning. Bei wenigen hundert Welten enthält jeder Bin wenige Welten, und das innere Rauschen leckt in die Varianz zwischen den Gruppen. Der Hebel käme nach oben verzerrt heraus, das Werkzeug verspräche vom Messen mehr, als Messen liefern kann. Die Rohsumme der Anteile lag bei 91 Prozent, davon sind 14 Punkte das, was Regressionen auf reinem Rauschen erklären. Die stehen nicht im Bericht, sie sind abgezogen.

Und es heißt nicht „Erwarteter Wert perfekter Teilinformation". Das wäre eine andere Größe und bräuchte eine Menge von Entscheidungen, einen Nutzen darüber und eine Währung. Nichts davon hat dieses Werkzeug, und es erfindet es nicht.

Genug erklärt. Hier ist ein kleinerer Fall, vier Treiber, und du hast zwei Messungen. Die Rechnung darunter ist dieselbe wie oben beschrieben: Welten außen, Würfe innen, Aufteilung nach dem Satz von der totalen Varianz. Sie läuft in deinem Browser, während du klickst.

Die meisten greifen zum breitesten Treiber. Das ist die Falle, und sie ist in echten Fällen die Regel: breit heißt oft, dass die Welt würfelt. Die Provenienz sagt dir mehr als die Spanne. „Geraten, keine Quelle" ist kein Makel im Datenblatt. Es ist die Adresse deines größten Hebels.

Ruin ist keine schlechte Perzentile

Ein Fall, der über Zeit etwas sagt, läuft über ein Schrittgitter. Bestände integrieren, verzögerte Kanten landen später, und Schwellen können absorbieren. Absorbieren heißt: Wer die Linie einmal gerissen hat, bleibt drüben. Die Kasse ist leer, die Bestände frieren, es geht nicht weiter.

Das ist kein Detail, das ist eine andere Rechnung. Ein schlechtes Perzentil ist ein Wert. Ruin ist ein Zustand.

Daraus folgt die Zahl, die ein Lauf über eine einzige Periode grundsätzlich nicht geben kann: der Abstand zwischen zwei Mittelwerten. Der unbedingte zählt jeden Pfad, die ruinierten zu dem Wert, den sie beim Einrasten trugen. Der bedingte zählt nur die, die es noch gibt. Die Lücke zwischen beiden ist, was Ruin kostet.

Und die Zeichnung dazu trägt die ruinierten Pfade weiter. Sie fallen zu lassen ließe den Fächer nach oben driften, während die Ruinierten still aus der Stichprobe verschwinden. Das wäre ein Diagramm, das das Gegenteil dessen behauptet, was passiert ist. Diese Sorte Fehler steckt in mehr Dashboards, als mir lieb ist.

Das letzte Bild ist ein Gegenbild. Erst die Wahrheit, dann der übliche Fehler.

Der zweite Mittelwert ist nicht falsch gerechnet. Er ist richtig gerechnet über eine Stichprobe, aus der die schlechten Fälle verschwunden sind. Genau so entsteht ein Diagramm, das beruhigt, während der Bestand brennt.

Sechs Fragen an jede Prognose

Du musst dafür nichts bauen. Es reichen sechs Fragen, und sie funktionieren gegen jede Zahl, die dir jemand hinlegt. Auch gegen meine.

1. Nennt sie die Aufteilung? Wie viel der Streuung ist Würfel, wie viel ist Nichtwissen? Wer das nicht beantwortet, hat es nicht gerechnet.
2. Sagt sie, was als Nächstes zu messen ist, und was das bringt? Eine Prognose ohne diesen Satz ist ein Horoskop mit Nachkommastellen.
3. Steht das eigene Fehlerband dabei? Und verschwindet die feste Zahl, wenn das Band zu breit wird?
4. Gibt es einen Regler für die Randstärke? Dann weg damit. Er existiert, damit das Ergebnis so aussieht, wie jemand es haben wollte.
5. Läuft der Vergleich auf denselben Würfeln? Variante gleich Basis muss exakt null ergeben. Wer das nicht garantiert, verkauft dir Rauschen als Effekt.
6. Gibt es eine Trefferbilanz gegen die Basisrate? Nachgespielt nur mit Ereignissen, die strikt vor dem Ergebnis datiert sind. Sonst korrigiert das Modell seine eigene Klausur.

Frage sechs ist die härteste. Ein seltenes Ereignis schneidet unter der Vorhersage „passiert nie" hervorragend ab, deshalb ist die Referenz immer die historische Häufigkeit. Liegt der Wert darunter, wäre es besser gewesen, die Basisrate zu zitieren und nach Hause zu gehen. Und wenn zu viele Ergebnisse an den Rändern der eigenen Verteilungen landen, waren die Verteilungen zu eng. Das ist das klassische Versagen, und genau das, wogegen dieses Werkzeug existiert.

Wann ich abrate

Nicht jede Entscheidung braucht das, und die Ehrlichkeit gehört zur These.

• Wenn die Entscheidung bei jeder Zahl gleich ausfällt. Dann rechne nicht, entscheide. Eine Simulation, die nichts ändern kann, ist teure Beruhigung.
• Wenn du das System nicht in benennbare Treiber und Beziehungen zerlegen kannst. Ein Modell aus Nebel produziert Nebel mit Nachkommastellen.
• Wenn du die Zahl zum Rechtfertigen brauchst statt zum Lernen. Dafür reicht eine Tabelle, und sie ist billiger.
• Wenn niemand die Messung durchführen wird, die am Ende empfohlen wird. Dann ist das Ergebnis eine Beobachtung über deine Organisation, nicht über den Markt.

Was ich damit mache

Ich habe die Maschine gebaut, weil ich sie für Kundenfälle brauchte und nichts fand, das die Aufteilung sauber liefert. Sie heißt Balane Studio: eine Python-Engine mit einer Desktop-Oberfläche, Fälle sind lokale Dateien, kein Cloud-Zwang. Modellieren und Entscheiden sind frei. Vergleichen und Trefferbilanz liegen hinter einer Lizenz. Verstehen kostet nichts, beweisen schon.

Was ich beim Bauen gelernt habe, ist trotzdem unabhängig vom Werkzeug, und es ist der Satz, mit dem ich schließe:

Verlange die Aufteilung. Budgetiere Messen statt mehr Prognosen. Und wenn jemand dir eine Zahl ohne ihr eigenes Fehlerband hinlegt, hast du keine Prognose bekommen. Du hast eine Meinung bekommen, die sich als Rechnung verkleidet hat.

Verwandt

• Erklären ist leicht, Vorhersagen ist hart
• Angst ist keine Wahrscheinlichkeit: Besser entscheiden unter Unsicherheit
• Statistische Täuschung: Lottozahlen mit KI vorhersagen
• Die Enttäuschung war eingepreist