Rationality: From AI to Zombies” ist eine Abhandlung über Rationalität, übersetzt aus dem Englischen von Vegard Beyer.
Essays von Eliezer Yudkowsky, im englischen Original auf readthesequences.com

 

Anmerkung: Übersetze mal das Wort ‘Bias’ präzise ins Deutsche, das ist eine Herausforderung.

Murphy umschreibt ‘Bias’ in seinem Buch “The Logic of Medicine” so:

Irgendein Prozess in der Beweisführung, zu jeglichem Zeitpunkt, der dazu führt, dass Resultate produziert werden, die sich systematisch vom ‘echten’ Wert unterscheiden”.

Soweit die Bedeutung. Und welches deutsche Wort passt nun am besten? Da wechseln sich je nach Kontext “(kognitive) Verzerrung” und “Voreingenommenheit” ab.

Anmerkungen und englische Fachbegriffe wie immer in eckigen Klammern.


Es ist kein Geheimnis. Aus irgendeinem Grund kommt es jedoch selten in Gesprächen vor, und nur wenige fragen, was wir dagegen tun sollen. Es ist ein Muster, das verborgen liegt hinter all unseren Triumphen und Fehlschlägen, ungesehen hinter unseren Augen. Was ist es?

Stelle dir vor, du greifst in eine Urne, die siebzig weiße und dreißig rote Kugeln enthält, und holst zehn davon heraus. Vielleicht sind drei der zehn Kugeln rot, und du errätst, wie viele rote Kugeln insgesamt in der Urne waren. Oder vielleicht erwischst du vier rote Bälle oder eine andere Anzahl. Dann wirst du die Gesamtzahl wahrscheinlich falsch einschätzen.

Dieser zufällige Fehler ist die Folge von unvollständigem Wissen, und was Fehler anbetrifft, ist dieser nicht so schlimm. Deine Schätzungen werden im Durchschnitt nicht mehr falsch sein, und je mehr du erfährst, desto geringer wird dein Fehler tendenziell sein. [Gemeint ist hier der “mathematische Fehler”, d.h. der Abstand deiner Schätzung von der wahren Zahl.]

Aber andererseits, nehmen wir einmal an, dass die weißen Kugeln schwerer sind und auf den Boden der Urne sinken. Dann könnte deine Stichprobe in einer konsistenten Richtung nicht repräsentativ sein [d.h. vom wahren Verhältnis auf immergleiche Art abweichen].

Diese Art von Fehler wird “statistische Verzerrung” [statistical bias] genannt. Wenn deine Methode, etwas über die Welt zu lernen, voreingenommen ist, hilft es möglicherweise nicht, noch mehr zu lernen. Das Sammeln von mehr Daten kann eine verzerrte Vorhersage sogar immer weiter verschlechtern.

Wenn du es gewohnt bist, Wissen und Forschung sehr wertzuschätzen, ist dies eine beängstigende Aussicht. Wenn wir sicher sein wollen, dass es uns hilft, wenn wir mehr in Erfahrung bringen, anstatt uns schlechter dastehen zu lassen als zuvor, dann müssen wir die Verzerrungen in unseren Daten entdecken und korrigieren.

Die Idee der kognitiven Verzerrung in der Psychologie funktioniert auf ähnliche Weise. Eine kognitive Voreingenommenheit [engl. bias] ist ein systematischer Fehler in unserer Denkweise, im Gegensatz zu einem zufälligen Fehler oder einem Fehler, der nur durch unsere Unwissenheit verursacht wird. Während statistische Bias eine Stichprobe so verzerrt, dass sie der größeren Population weniger ähnelt, verzerren kognitive Verzerrungen unsere Überzeugungen, so dass sie die Fakten weniger genau repräsentieren, und sie beeinflussen unsere Entscheidungsfindung, so dass sie unsere Ziele weniger zuverlässig erreicht.

Vielleicht hast du eine Optimismus‐Voreingenommenheit, und du findest heraus, dass die roten Kugeln verwendet werden können, um eine seltene tropische Krankheit zu behandeln, die soeben deinen Bruder befällt. Du könntest dann überschätzen, wie viele rote Kugeln die Urne enthält, weil du dir wünschst, dass die meisten Kugeln rot sind. Hier ist es nicht deine Probe, die voreingenommen ist.

Du bist voreingenommen.

Jetzt, wo wir über voreingenommene Menschen sprechen, müssen wir vorsichtig sein. Wenn wir Individuen oder Gruppen “voreingenommen” nennen, tun wir dies gewöhnlich, um sie für unfaires oder parteiisches Urteilen zu schelten. Kognitive Verzerrung ist aber ein völlig andere Kreatur.

Kognitive Verzerrungen sind ein grundlegender Teil davon, wie Menschen allgemein denken, nicht die Art von Störung, die wir einer schrecklichen Erziehung oder einer niederträchtigen Persönlichkeit zuschreiben könnten. 1

Eine kognitive Voreingenommenheit ist eine systematische Weise, auf die deine angeborenen Denkmuster hinter der Wahrheit zurückbleiben (oder hinter einem anderen erreichbaren Ziel, wie Zufriedenheit). Wie statistische Verzerrungen können kognitive Verzerrungen unsere Sicht auf die Realität verfälschen, sie können nicht immer dadurch behoben werden, dass nur mehr Daten erfasst werden, und ihre Auswirkungen können sich im Laufe der Zeit summieren.

Aber wenn das fehlkalibrierte Messinstrument, das du zu reparieren versuchst, du bist, ist Debiasing [die Befreiung von den eigenen Voreingenommenheiten und kognitiven Verzerrungen] eine einzigartige Herausforderung.

Dennoch ist dies ein offensichtlicher Startpunkt. Denn wenn du deinem Gehirn nicht trauen kannst, wie kannst du dann irgendetwas anderem vertrauen?

Es wäre nützlich, einen Namen für dieses Projekt zu haben, in dem wir kognitive Voreingenommenheit zu überwinden versuchen (sowie alle Arten von Irrtümern, bei denen sich unser Verstand selbst untergraben kann).

Wir könnten dieses Projekt nennen, was auch immer wir wollen. Vorerst nehme ich aber an, dass “Rationalität” so gut ist wie jeder andere.

Rationale Gefühle

In Hollywood‐Filmen bedeutet “rational” normalerweise, dass du ein ernster, hyperintellektueller Stoiker bist.

Denke an Spock von Star Trek, der seine Gefühle “rational” unterdrückt, sich “rational” nicht auf Intuitionen oder Impulse verlässt, und schnell verblüfft und überlistet ist, wenn er auf einen sprunghaften oder “irrationalen” Gegner stößt. 2

Es gibt aber eine völlig andere Vorstellung von “Rationalität”, die von Mathematikern, Psychologen und Sozialwissenschaftlern untersucht wird. Grob gesagt, ist es die Idee, das Bestmögliche aus dem zu machen, was man hat. Eine rationale Person, egal wie überfordert sie ist, gelangt zu den besten Überzeugungen, die sie mit den Hinweisen, die sie hat, überhaupt haben kann. Eine rationale Person, egal wie schrecklich ihre Lage ist, trifft die bestmöglichen Entscheidungen, um ihre Erfolgschancen zu verbessern.

Bei der Rationalität der echten Welt geht es nicht darum, deine Emotionen und Intuitionen zu ignorieren. Für einen Menschen bedeutet Rationalität oft, sich seiner Gefühle bewusster zu werden, damit sie in Entscheidungen einbezogen werden können.

Bei Rationalität kann es sogar darum gehen, zu wissen, wann man sich über etwas besser nicht zu sehr den Kopf zerbricht. Beim Auswählen eines Posters zum Aufhängen an der Wand, oder bei Vorhersagen des Ergebnisses eines Basketballspiels, wurde festgestellt, dass Versuchspersonen schlechter abschneiden, wenn sie ihre Gründe sorgfältig analysierten. 3,4 Es gibt einige Probleme, bei denen uns bewusste Überlegungen besser dienen, und andere, bei denen schnelle instinktive Urteile hilfreicher sind.

Psychologen, die an “Zwei-Prozess”-Theorien arbeiten, unterscheiden die “System 1” -Prozesse des Gehirns (schnelle, implizite, assoziative, automatische Wahrnehmung) von ihren “System 2” -Prozessen (langsame, explizite, intellektuelle, kontrollierte Kognition). 5

Das Klischee über Rationalisten besagt, dass sie sich völlig auf System 2 verlassen und ihre Gefühle und Impulse ignorieren. Wenn man über das Klischee hinwegschaut, würde jemand, der tatsächlich rational ist – tatsächlich seine Ziele erreicht und den Schaden von seinen kognitiven Voreingenommenheiten abmildert – stark auf System‐1‐Gewohnheiten und Intuitionen vertrauen, wo immer sie verlässlich sind.

Unglücklicherweise scheint es, dass System 1 allein ein schrecklicher Ratgeber ist, wenn die Frage lautet, “Wann sollte ich System 1 vertrauen?” Unsere untrainierten Intuitionen sagen uns nicht, wann wir aufhören sollten, uns auf sie zu verlassen. Voreingenommen sein und unvoreingenommen sein fühlen sich gleich an. 6

Auf der anderen Seite, wie der Verhaltensökonom Dan Ariely anmerkt: Wir sind vorhersehbar irrational. Wir vermasseln es auf die gleichen Arten, immer und immer wieder, ganz systematisch.

Wenn wir unser Bauchgefühl nicht nutzen können, um herauszufinden, wann wir einer kognitiven Voreingenommenheit erliegen, könnten wir uns dafür der Wissenschaften des Geistes bedienen.

Die vielen Gesichter der Voreingenommenheit

Um Probleme zu lösen, haben sich unsere Gehirne so entwickelt, dass sie kognitive Heuristiken verwenden [Methoden, um mit wenig Information und Zeit so gut wie möglich zu mutmaßen] — grobe Abkürzungen, die häufig, aber nicht immer, die richtige Antwort ergeben. Kognitive Verzerrungen entstehen, wenn die Art des “Abkürzens” und Ratens der Heuristiken zu einem Fehler führt, der relativ konsistent auftritt und für sich steht.

Die Repräsentativitätsheuristik zum Beispiel ist unsere Tendenz, Phänomene danach zu bewerten, wie repräsentativ sie für verschiedene Kategorien erscheinen. Dies kann zu Verzerrungen wie der “Verknüpfungstäuschung” [conjunction fallacy] führen. [Die renommierten Psychologen] Tversky and Kahneman fanden heraus, dass Versuchspersonen es für wahrscheinlicher hielten, dass ein starker Tennisspieler “den ersten Satz verlieren, aber das Match gewinnen würde”, als dass er einfach nur “den ersten Satz verlieren würde”. 7

Ein Comeback scheint uns für einen starken Spieler typischer zu sein, daher überschätzen wir die Wahrscheinlichkeit dieser komplizierten‐aber‐vernünftig‐klingenden Schilderung im Vergleich zur Wahrscheinlichkeit eines strikt simpleren Szenarios.

Die Repräsentativitätsheuristik kann auch zum Basisratenfehler [engl. base rate neglect, Vernachlässigung der Basisrate] beitragen, wo wir unsere Urteile dadurch begründen, wie intuitiv “normal” eine Kombination von Eigenschaften wirkt, während wir den Fakt vernachlässigen, wie häufig jedes Attribut in der Bevölkerung insgesamt ist. 8

Ist es wahrscheinlicher, dass Steve ein schüchterner Bibliothekar ist, oder dass er ein schüchterner Verkäufer [salesman, d.h. Vertriebler, nicht Ladenangestellter] ist?

Die meisten Leute beantworten diese Frage, indem sie darüber nachdenken, ob “schüchtern” ihren Stereotypen dieser Berufe entspricht. Sie berücksichtigen nicht, wie viel häufiger Vertriebsmitarbeiter sind als Bibliothekare – fünfundsiebzigmal häufiger, in den Vereinigten Staaten [und zweiundsechzigmal häufiger in Deutschland, etwa 42559 Bibiliothekare und etwa 685.987 Verkäufer]. 9

Weitere Beispiele für Voreingenommenheiten/Verzerrungen sind die Vernachlässigung der Dauer [duration neglect] (das Bewerten von Erfahrungen ohne Rücksicht darauf, wie lange sie dauerten), der Irrtum der Versunkenen Kosten [sunk cost fallacy] (sich Dingen verpflichtet zu fühlen, für die man zuvor schon Ressourcen aufgewendet hat, wenn man seine Verluste reduzieren, loslassen und weiterziehen sollte), und der Bestätigungsfehler [confirmation bias] (Beweisen, die die eigenen Überzeugungen bestätigen, mehr Gewicht zu geben). 10,11

Von einer bias zu wissen reicht jedoch selten aus, um dich davor zu schützen. In einer Studie über Biasblindheit [engl. bias blindness, Blindheit gegenüber kognitiven Verzerrungen] sagten Versuchspersonen voraus, dass es für sie schwerer wäre, die Qualität eines Gemäldes neutral zu bewerten, wenn sie lernten, dass es das Werk eines berühmten Künstlers ist.

In der Tat zeigten Probanden, denen der Urheber eines Gemäldes mitgeteilt wurde und die gebeten wurden, seine Qualität zu beurteilen, die von ihnen vorhergesagte Voreingenommenheit (im Vergleich zu einer Kontrollgruppe, denen der Künstler nicht mitgeteilt wurde). Als sie nachher darüber befragt wurden, behaupteten die gleichen Probanden jedoch, dass ihre Einschätzung der Bilder objektiv und von jeder Voreingenommenheit unberührt gewesen sei – in allen Gruppen! 12,13

Wir sind besonders abgeneigt, unsere Ansichten für ungenau zu halten, wenn sie im Vergleich zu denen anderer stehen. Selbst wenn wir die Vorurteile anderer korrekt erkennen, haben wir einen speziellen blinden Fleck für Biases [bias blind spot], wenn es zu unseren eigenen Fehlern kommt. 14 Wir können keine “verzerrt wirkenden Gedanken” entdecken wenn wir in uns selbst blicken, und ziehen so den Schluss, dass wir wohl einfach objektiver sein müssen als alle anderen. 15

Verzerrungen/Voreingenommenheiten zu studieren, kann dich in der Tat anfälliger für Übermut und Bestätigungsverzerrungen [confirmation bias] machen, da du den Einfluss kognitiver Verzerrungen überall um dich herum siehst – in jedem außer dir. Und der blinde Fleck für Verzerrungen ist, im Gegensatz zu vielen anderen Verzerrungen, besonders gravierend bei Menschen, die besonders intelligent, nachdenklich und aufgeschlossen sind. 16,17

Das ist Grund zur Besorgnis.

Trotzdem… es scheint, dass wir fähig sein sollten, es besser zu machen. Es ist bekannt, dass wir die Vernachlässigung der Basisrate [base rate neglect] reduzieren können, indem wir uns Wahrscheinlichkeiten als Häufigkeiten von Objekten oder Ereignissen vorstellen. Wir können die Vernachlässigung der Dauer [duration neglect] minimieren, indem wir mehr Aufmerksamkeit auf die Dauer lenken und sie grafisch darstellen. 18 Menschen unterscheiden sich darin, wie stark sie unterschiedliche Vorurteile aufweisen, daher sollte es eine Vielzahl noch unbekannter Möglichkeiten geben, um zu verändern, wie voreingenommen wir sind.

Wenn wir uns jedoch verbessern wollen, reicht es nicht aus, über Listen von kognitiven Verzerrungen zu brüten. Der Ansatz zum Debiasing in Rationality: From AI to Zombies ist es, ein systematisches Verständnis dafür zu vermitteln, warum gutes Denken funktioniert und wie das Gehirn dabei oft zu kurz greift. In dem Maße, in dem dieses Volumen seine Arbeit leistet, kann sein Ansatz mit dem bei Serfas beschriebenen verglichen werden. Er weist darauf hin, dass eine hohe Zahl bei “Jahre finanzbezogener Berufserfahrung” die Anfälligkeit der Probanden für den Irrtum der Versunkenen Kosten [sunk cost fallacy] nicht beeinträchtigten, während jedoch eine hohe “Anzahl der besuchten Buchhaltungskurse” half –

Folglich könnte es notwendig sein, zwischen Erfahrung [experience] und Fachwissen [expertise] zu unterscheiden, wobei Fachwissen bedeutet, “die Entwicklung eines schematischen Prinzips, das ein konzeptuelles Verständnis des Problems einschließt”, was es dem Entscheidungsträger wiederum ermöglicht, bestimmte Verzerrungen zu erkennen. Das Verwenden von Fachwissen als Gegenmaßnahme erfordert jedoch mehr als nur das Kennenlernen des situationsbedingten Inhalts oder Erfahrung in einem bestimmten Bereich. Es erfordert, dass man die zugrundeliegende Struktur der jeweiligen kognitiven Verzerrung vollständig versteht, in der Lage ist, sie in der jeweiligen Umgebung zu erkennen, und auch die richtigen Werkzeuge zur Verfügung hat, um ihr entgegenzuwirken. 19

Das Ziel dieses Buches ist es, die Grundlage zum Erwerben von Rationalitäts-“Expertise” zu schaffen. Das bedeutet, ein tiefes Verständnis für die Struktur eines sehr allgemeinen Problems zu erlangen: menschliche Voreingenommenheit, Selbsttäuschung und die tausenden Pfade, durch die sich ein hochentwickelter Gedanke selbst besiegen kann.

Ein Wort zu diesem Text

Rationality: From AI to Zombies entstand zunächst als eine Reihe von Essays von Eliezer Yudkowsky, veröffentlicht zwischen 2006 und 2009 auf dem Wirtschaftstheorie‐Blog Overcoming Bias und seinem Nachfolger‐Community‐Blog Less Wrong.Ich habe das letzte Jahr mit Yudkowsky am Machine Intelligence Research Institute (MIRI), gearbeitet, einer gemeinnützigen Organisation, die er im Jahr 2000 gegründet hat, um die theoretischen Anforderungen für übermenschlich kluge (superintelligente) künstliche Intelligenz (KI) zu untersuchen.

Das Lesen seiner Blogbeiträge weckte mein Interesse an seiner Arbeit. Er beeindruckte mich mit seiner Fähigkeit, kurz und bündig Einsichten zu vermitteln, die zu verinnerlichen bei mir Jahre des Studiums der analytischen Philosophie gebraucht hatte. In dem Bestreben, den anarchischen und skeptischen Geist der Wissenschaft mit einer rigorosen und systematischen Annäherung an die Forschung zu versöhnen, versucht Yudkowsky nicht nur, die vielen falschen Schritte und Sackgassen, die schlechte Philosophie (und schlechte Philosophielosigkeit) hervorrufen kann, zu widerlegen, sondern sie zu verstehen.

Meine Hoffnung, als ich diese Aufsätze in einem Buch organisiere, besteht darin, es einfacher zu machen, in sie einzutauchen und sie leichter als ein zusammenhängendes Ganzes zu verstehen.

Der daraus resultierende Rationalitätsleitfaden ist häufig persönlich und frei von Ehrfurcht. Er zieht zum Beispiel aus Yudkowskys Erfahrungen mit seiner orthodoxen jüdischen Mutter (einer Psychiaterin) und Vater (einem Physiker) und aus Gesprächen in Chatrooms und Mailinglisten. Leser, die mit Yudkowsky durch “Harry Potter und die Methoden der Rationalität” [Harry Potter and the Methods of Rationality] vertraut sind, seinem wissenschaftlich orientierten Aufbau auf JK Rowlings Harry‐Potter-Büchern, werden den gleichen respektlosen Bildersturm und viele der gleichen Kernkonzepte erkennen.

Stilistisch reichen die Aufsätze in diesem Buch vom “lebhaften Lehrbuch” über das “Kompendium der nachdenklichen Vignetten” bis zum “aufständischen Manifest”, und der Inhalt ist dementsprechend vielfältig. Rationality: From AI to Zombies sammelt Hunderte von Yudkowskys Blogbeiträgen in sechsundzwanzig “Sequenzen”, kapitelartige Serien von thematisch verknüpften Beiträgen. Die Sequenzen wiederum sind in sechs Bücher zusammengefasst, die folgende Themen behandeln:

Buch IKarte und Terrain. Was ist eine Überzeugung und was bewirkt, dass manche Überzeugungen besser funktionieren als andere? Diese vier Sequenzen erklären die Bayes’schen Auffassung von Rationalität, Überzeugung [engl. belief] und Beweisen. Ein durchgängiges Thema: Die Dinge, die wir “Erklärungen” oder “Theorien” nennen, funktionieren möglicherweise nicht immer wie Karten zur Navigation in der Welt. Infolgedessen riskieren wir, unsere mentalen Karten mit den anderen Objekten in unserem Werkzeugkasten zu verwechseln.

Buch IIWie man (es sich) wirklich anders überlegt. Diese Sache mit “Wahrheit” scheint ziemlich praktisch zu sein. Warum also ziehen wir wiederholt voreilige Schlüsse, schalten auf stur und begehen die immergleichen Fehler? Warum sind wir so schlecht darin, zu zutreffenden Überzeugungen zu gelangen, und wie können wir es besser machen? Diese sieben Sequenzen behandeln motivierte Argumentation und die Bestätigungsverzerrung, mit einem besonderen Fokus auf schwer erkennbare Arten von Selbsttäuschung und die Falle, “Argumente als Soldaten zu verwenden”.

Buch IIIDie Maschine im Geist. Warum haben wir uns nicht zu rationaleren Wesen entwickelt? Selbst wenn wir die [mentalen] Ressourcenbeschränkungen in Betracht ziehen, scheint es, als ob wir für die vorhandene Beweiskraft viel bessere epistemische [Wahrheitsfindungs‐] Leistung haben könnten. Um ein realistisches Bild davon zu bekommen, wie und warum unser Geist seine biologischen Funktionen ausführt, müssen wir die Haube öffnen und mit mehr Präzision sehen, wie Evolution funktioniert und wie unsere Gehirne funktionieren. Diese drei Sequenzen illustrieren, wie selbst Philosophen und Wissenschaftler in die Irre geführt werden können, wenn sie sich auf intuitive, nichttechnische evolutionäre oder psychologische Berichte stützen. Indem wir unseren Geist in einer größeren Umgebung zielgerichteter Systeme einzuordnen lernen, können wir einige der Besonderheiten des menschlichen Denkens identifizieren und verstehen, wie solche Systeme “ihren Zweck verlieren” können.

Buch IVBloße Wirklichkeit. [engl. “Mere Reality”, enttäuschter Unterton, wie in “nur, nichts als”]. In was für einer Welt leben wir? Was ist unser Platz in dieser Welt? Aufbauend auf den Beispielen der vorangegangenen Sequenzen, wie evolutionäre und kognitive Modelle funktionieren, erforschen diese sechs Sequenzen die Natur des Geistes und den Charakter des physikalischen Gesetzes. Neben der Anwendung und Verallgemeinerung früherer Lektionen über wissenschaftliche Mysterien und Sparsamkeit werfen diese Aufsätze neue Fragen über die Rolle auf, die Wissenschaft in individueller Rationalität spielen sollte.

Buch VBloße Güte. Was macht etwas wertvoll – moralisch wertvoll, oder ästhetisch wertvoll, oder gemäß praktischer Vernunft wertvoll? Diese drei Sequenzen fragen, wie wir unsere Werte und Wünsche rechtfertigen, revidieren und naturalisieren können. Das Ziel wird sein, einen Weg zu finden um unsere Ziele zu verstehen, ohne unsere Bemühungen zu beeinträchtigen, sie tatsächlich zu erreichen. Hier besteht die größte Herausforderung darin, zu wissen, wann du deinen unübersichtlichen, komplizierten Einzelfall‐Impulsen über Richtig und Falsch vertrauen solltest – und wann du sie durch einfache, ausnahmefreie Prinzipien ersetzen musst.

Buch VIStärker werden. Wie können Einzelpersonen und Gemeinschaften all dies in die Praxis umsetzen? Diese drei Sequenzen beginnen mit einer autobiographischen Darstellung von Yudkowskys eigenen größten philosophischen Fehltritten, und mit Ratschlägen dazu, wie er denkt, dass andere es besser machen könnten. Das Buch schließt mit Empfehlungen zur Entwicklung evidenzbasierter Lehrpläne zur angewandten Rationalität und zur Bildung von Gruppen und Institutionen zur Unterstützung interessierter Studenten, Pädagogen, Forscher und Freunde.

Die Sequenzen werden auch mit “Zwischeneinlagen” ergänzt, Essays von Yudkowskys persönlicher Website, www.yudkowsky.net. Diese knüpfen auf verschiedene Weise an die Sequenzen an; z.B. The Twelve Virtues of Rationality fasst auf poetische Weise viele der Lehren von Rationality: From AI to Zombies zusammen und wird oft in anderen Aufsätzen zitiert.

Wenn du auf den grünen Stern () am Ende eines Aufsatzes klickst, gelangst du zur ursprünglichen Version auf Less Wrong (wo du Kommentare hinterlassen kannst) oder auf Yudkowskys Website.

Karte und Terrain

Dieses, das erste Buch, beginnt mit einer Sequenz über kognitive Voreingenommenheit: “Vorhersehbar falsch.” Der Rest des Buches wird sich nicht nur auf dieses Thema beschränken. Schlechte Angewohnheiten und schlechte Ideen sind wichtig, selbst wenn sie aus dem Inhalt unseres Geistes entstehen anstatt aus der Struktur unseres Geistes. Die so entstandenen und erfundenen Fehler werden beide in den folgenden Sequenzen gezeigt, beginnend in “Gefälschte Überzeugungen”, mit einer Diskussion darüber, wie sich die eigenen Erwartungen und die eigenen erklärten Glaubensvorstellungen auseinandergehen können.

Ein Bericht über Irrationalität wäre auch unvollständig, wenn er keine Theorie darüber liefern würde, wie Rationalität funktioniert – oder wenn die “Theorie” nur aus vagen Binsenwahrheiten bestand, ohne genauen Erklärungsmechanismus. Die Sequenz “Verwirrung Bemerken” fragt, warum es nützlich ist, sein Verhalten auf “rationale” Erwartungen zu gründen und wie es sich anfühlt, dies zu tun.

Mysteriöse Antworten” fragt als nächstes, ob die Wissenschaft diese Probleme für uns löst. Wissenschaftler stützen ihre Modelle auf wiederholbare Experimente, nicht auf Spekulationen oder Hörensagen. Und die Wissenschaft hat im Vergleich zu Anekdote, Religion und… so ziemlich allem anderen eine hervorragende Erfolgsbilanz. Müssen wir uns immer noch Gedanken über “gefälschte” Überzeugungen, Bestätigungsverzerrungen, Rückschaufehler [hindsight bias] und Ähnliches machen, wenn wir mit einer Gemeinschaft von Menschen zusammenarbeiten, die Phänomene erklären und nicht nur ansprechende Geschichten erzählen wollen?

Darauf folgt Die Simple Wahrheit, eine eigenständige Allegorie über das Wesen von Wissen und Überzeugung.

Es ist jedoch die kognitive Verzerrung, die den klarsten und direktesten Einblick in die Rohfasern unserer Psychologie bietet, in die Form unserer Heuristiken [geistiger Mutmaßungsmechanismen] und die Logik unserer Begrenzungen. Mit Voreingenommenheiten und Verzerrungen werden wir also beginnen.

Es gibt eine Passage im Zhuangzi, einem proto‐daoistischen philosophischen Text, der sagt: “Die Fischfalle existiert wegen des Fischs; Sobald du den Fisch hast, kannst du die Falle vergessen.“20

Ich lade dich ein, dieses Buch in diesem Sinne zu erkunden. Benutze es, als würdest du eine Fischfalle benutzen – immer auf die Bestimmung achtend, die du für deine Beschäftigung damit hast. Nimm mit, was du benutzen kannst, solange es weiterhin Verwendung findet, und wirf den Rest weg. Und möge dir deine Bestimmung gut dienen.

Danksagung

Mein größter Dank gebührt Nate Soares, Elizabeth Tarleton, Paul Crowley, Brienne Strohl, Adam Freese, Helen Toner, und Dutzenden Freiwilligen für ihre Hilfe beim Fehlerlesen vieler Teile dieses Buchs.

Besonderer Dank gilt Alex Vermeer, der das Buch zur Vervollständigung lenkte, und Tsvi Benson‐Tilsen, der alle Seiten durchging, um die Lesbarkeit und Widerspruchsfreiheit sicherzustellen.

  1. Die Idee der persönlichen Voreingenommenheit, Medienverzerrung, usw. ähnelt statistischer Verzerrung darin, dass sie alle Fehler sind. Andere Verallgemeinerungsformen der Idee der “Verzerrung bzw. Voreingenommenheit” konzentrieren sich stattdessen auf ihre Assoziation mit Nicht‐Zufälligkeit. Beim maschinellen Lernen zum Beispiel ist eine induktive Verzerrung nur die Gruppe von Annahmen, die ein Lerner verwendet, um Vorhersagen aus einem Datensatz abzuleiten. Hier ist der Lerner “voreingenommen” in dem Sinne, dass er in eine bestimmte Richtung gewiesen wurde. Aber da diese Richtung die der Wahrheit sein kann, ist es für einen solchen Akteur nicht schlecht, eine induktive Verzerrung zu haben. Es ist wertvoll und notwendig. Dies unterscheidet die induktive “Bias” eindeutig von den anderen Arten von Bias. ↩︎
  2. Ein trauriger Zufall: Leonard Nimoy, der Schauspieler, der Spock spielte, starb wenige Tage vor der Veröffentlichung dieses Buches. Obwohl wir seinen Charakter als klassisches Beispiel für eine falsche “Hollywood‐Rationalität” bezeichnen, beabsichtigen wir keine Respektlosigkeit gegenüber dem Andenken an Nimoy. ↩︎
  3. Timothy D. Wilson et al., “Introspecting About Reasons Can Reduce Post‐choice Satisfaction,” Personality and Social Psychology Bulletin 19 (1993): 331–331. ↩︎
  4. Jamin Brett Halberstadt und Gary M. Levine, “Effects of Reasons Analysis on the Accuracy of Predicting Basketball Games,” Journal of Applied Social Psychology 29, Nr. 3 (1999): 517–530. ↩︎
  5. Keith E. Stanovich und Richard F. West, “Individual Differences in Reasoning: Implications for the Rationality Debate?,” Behavioral and Brain Sciences 23, Nr. 5 (2000): 645–665, http://journals.cambridge.org/abstract_S0140525X00003435. ↩︎
  6. Timothy D. Wilson, David B. Centerbar, und Nancy Brekke, “Mental Contamination and the Debiasing Problem,” in Heuristics and Biases: The Psychology of Intuitive Judgment, ed. Thomas Gilovich, Dale Griffin, und Daniel Kahneman (Cambridge University Press, 2002). ↩︎
  7. Amos Tversky und Daniel Kahneman, “Extensional Versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgment,” Psychological Review 90, Nr. 4 (1983): 293–315, doi:10.1037/0033295X.90.4.293. ↩︎
  8. Richards J. Heuer, Psychology of Intelligence Analysis (Center for the Study of Intelligence, Central Intelligence Agency, 1999). ↩︎
  9. Wayne Weiten, Psychology: Themes and Variations, Briefer Version, Eighth Edition (Cengage Learning, 2010). ↩︎
  10. Raymond S. Nickerson, “Confirmation Bias: A Ubiquitous Phenomenon in Many Guises,” Review of General Psychology 2, Nr. 2 (1998): 175. ↩︎
  11. Wahrscheinlichkeitsvernachlässigung [probability neglect] ist eine weitere kognitive Verzerrung. In den Monaten und Jahren nach den Anschlägen vom 11. September entschieden sich viele Menschen dafür, lange Strecken zu fahren, anstatt zu fliegen.Eine Flugzeugentführung war nicht plötzlich wahrscheinlich, aber jetzt fühlte es sich an, als wäre es nun “an der Tagesordnung”; die bloße Möglichkeit einer Entführung beeinflusste die Entscheidungen enorm. Wenn man sich auf Schwarz‐Weiß‐Denken stützt (Autos und Flugzeuge sind entweder “sicher” oder “unsicher”, Punkt!), geraten Menschen eigentlich in viel größere Gefahr. Obwohl sie die Wahrscheinlichkeit, auf einer Überlandfahrt zu sterben, gegen die Wahrscheinlichkeit, auf einem Überlandflug zu sterben, hätten abgewiegen sollen – die erstere ist hunderte Male größer – verließen sie sich stattdessen auf ihr allgemeines Gefühl der Sorge und Angst (die “Affekt‐Heuristik”). Wir können das gleiche Verhaltensmuster bei Kindern sehen, die, wenn sie Argumente für und gegen die Sicherheit von Sicherheitsgurten hören, dazwischen hin und her springen, Sicherheitsgurte für eine vollkommen gute oder vollkommen schlechte Idee zu halten, anstatt zu versuchen, die Stärken der Vor‐ und Nachteile abzuwiegen. 21Einige weitere Beispiele für Verzerrungen sind:- die Spitzen‐/Ende‐Regel [peak/end rule] (das Bewerten erinnerter Ereignisse basierend auf deren intensivstem Moment und ihrem Ende);- Verankerung (das Aufbauen von Entscheidungen auf kürzlich entdeckten Informationen, selbst wenn diese dafür vollkommen irrelevant sind) 22 und Selbstverankerung [self anchoring] (sich selbst als Modell für die mutmaßlichen Eigenschaften anderer zu verwenden, ohne genügend darüber nachzudenken, inwiefern man untypisch ist); 23

- und Status‐Quo‐Bias (exzessiv zu bevorzugen, was normal und erwartet ist, gegenüber dem, was neu und anders ist). 24 ↩︎

  1. Katherine Hansen et al., “People Claim Objectivity After Knowingly Using Biased Strategies,” Personality and Social Psychology Bulletin 40, Nr. 6 (2014): 691–699. ↩︎
  2. In ähnlicher Weise schreibt Pronin über Gender‐Bias‐Blindheit:

    In einer Studie betrachteten die Teilnehmer einen männlichen und einen weiblichen Kandidaten für einen Polizeichefjob und bewerteten dann, ob “straßenerfahren” oder “akademisch gebildet” für den Job wichtiger war. Das Ergebnis war, dass die Teilnehmer immer den Hintergrund bevorzugten, den der männliche Kandidat besaß (z.B. wenn sie erfuhren, dass er sich “auf der Straße auskenne”, betrachteten sie dies als wichtiger). Die Teilnehmer waren völlig blind gegenüber dieser geschlechtsspezifischen Voreingenommenheit. In der Tat, je objektiver sie glaubten, gewesen zu sein, desto mehr Voreingenommenheit zeigten sie. 25

    Selbst wenn wir von Verzerrungen wissen, bemerkt Pronin, bleiben wir “naive Realisten” bezüglich unserer eigenen Überzeugungen. Wir kehren zuverlässig dazu zurück, unsere Überzeugungen als verzerrungsfreie Repräsentationen dessen zu behandeln, wie die Dinge tatsächlich sind. 26 ↩︎

  3. In einer Befragung von 76 Personen, die an Flughäfen warten, bewerten sich Personen im Durchschnitt als weniger anfällig für kognitive Verzerrungen als eine typische Person am Flughafen. Insbesondere betrachten sich die Menschen als ungewöhnlich unvoreingenommen, wenn die Voreingenommenheit sozial unerwünscht ist oder schwer bemerkbare Konsequenzen hat. 27Andere Studien zeigen, dass Menschen mit persönlichen Bindungen zu einem Thema diese Bindungen als Verbesserung ihrer Themenkenntnis und Objektivität ansehen, doch wenn sie sehen, dass andere Menschen die gleichen Verbindungen zu Themen haben, folgern sie, dass diese Menschen übermäßig darin verhaftet und voreingenommen sind. ↩︎
  4. Joyce Ehrlinger, Thomas Gilovich, and Lee Ross, “Peering Into the Bias Blind Spot: People’s Assessments of Bias in Themselves and Others,” Personality and Social Psychology Bulletin 31, Nr. 5 (2005): 680–692. ↩︎
  5. Richard F. West, Russell J. Meserve, and Keith E. Stanovich, “Cognitive Sophistication Does Not Attenuate the Bias Blind Spot,” Journal of Personality and Social Psychology 103, Nr. 3 (2012): 506. ↩︎
  6. Nicht zu verwechseln mit Leuten, die wegen der Illusorischen Überlegenheits‐Verzerrung denken, dass sie ungewöhnlich intelligent, nachdenklich usw. sind. ↩︎
  7. Michael J. Liersch und Craig R. M. McKenzie, “Duration Neglect by Numbers and Its Elimination by Graphs,” Organizational Behavior and Human Decision Processes 108, Nr. 2 (2009): 303–314. ↩︎
  8. Sebastian Serfas, Cognitive Biases in the Capital Investment Context: Theoretical Considerations and Empirical Experiments on Violations of Normative Rationality (Springer, 2010). ↩︎
  9. Zhuangzi und Burton Watson, The Complete Works of Zhuangzi (Columbia University Press, 1968). ↩︎
  10. Cass R. Sunstein, “Probability Neglect: Emotions, Worst Cases, and Law,” Yale Law Journal (2002): 61–107. ↩︎
  11. Dan Ariely, Predictably Irrational: The Hidden Forces That Shape Our Decisions (HarperCollins, 2008). ↩︎
  12. Boaz Keysar und Dale J. Barr, “Self‐Anchoring in Conversation: Why Language Users Do Not Do What They ‘Should,”’ in Heuristics and Biases: The Psychology of Intuitive Judgment: The Psychology of Intuitive Judgment, ed. Griffin Gilovich and Daniel Kahneman (New York: Cambridge University Press, 2002), 150–166, doi:10.2277/0521796792. ↩︎
  13. Scott Eidelman und Christian S. Crandall, “Bias in Favor of the Status Quo,” Social and Personality Psychology Compass 6, Nr. 3 (2012): 270–281. ↩︎
  14. Eric Luis Uhlmann and Geoffrey L. Cohen, “‘I think it, therefore it’s true’: Effects of Self‐perceived Objectivity on Hiring Discrimination,” Organizational Behavior and Human Decision Processes 104, Nr. 2 (2007): 207–223. ↩︎
  15. Emily Pronin, “How We See Ourselves and How We See Others,” Science 320 (2008): 1177–1180, http://web.cs.ucdavis.edu/~franklin/­ecs188/2015/fall/pronin.pdf. ↩︎
  16. Emily Pronin, Daniel Y. Lin, und Lee Ross, “The Bias Blind Spot: Perceptions of Bias in Self versus Others,” Personality and Social Psychology Bulletin 28, no. 3 (2002): 369–381. ↩︎

Weiter:
Buch I: Karte und Terrain

# # # # # # # # # # # #

1. Dezember 2017