Blog

Heute, am 1.8.2023, besuchte ich in der Tübinger Sommeruniversität einen Vortrag mit dem Titel: “Können Sprachmodelle denken?”. Obwohl mir klar war, dass ich vieles von dem, was mich dort erwartete, wohl schon kannte, wollte ich mir einmal – sozusagen aus erster akademischer Hand – einen kompetenten Sachstandsbericht geben lassen. Der Vortrag hat meine Erwartungen weit übertroffen, sodass ich es jetzt an der Zeit sehe, mir selbst einen kleinen Überblick über mein eigenes aktuelles Verständnis zu geben. Doch halt: Solch ein Vorhaben droht schnell auszuufern in einen Rundumschlag, der mich erstens viel Zeit kosten und zweitens vielleicht auch kaum jemanden interessiert würde. Also will ich eine lose Sammlung  von Aussagen aneinanderreihen, anhand derer jeder seine eigenen Ansichten und Erkenntnisse reflektieren kann.

1. Sprachmodelle (LLM) wie ChatGPT wurden nicht als allwissende Gesprächspartner konzipiert, die als Super-Intelligenzen fungieren sollen. Ihre erstaunlichen Fähigkeiten sind in ihrer Vielfalt nicht hinein-erfunden worden, sondern die Ingenieure waren selbst verwundert über ihr Werk. Darum sind LLMs Gegenstand nachträglicher Forschungen. Z.B. betreibt der Referent Dr. Thilo Hagendorff sogenannte machine psychology, indem er die Sprachmodelle psychologischen Tests unterzieht, wie sie in der (Human-)Psychologie Anwendung finden.
2. Eine Forschungsrichtung untersucht, ob LLMs eine theory  of mind entwickeln, wie dies Kinder ab dem vierten Lebensjahr tun: Sie machen sich Gedanken darüber, was  ein Gegenüber fühlt, will oder auch wissen kann (Beispiel). LLMs schneiden bei diesen Tests bemerkenswert gut ab. Natürlich gründet solch ein Urteil auf einem willkürlich gewählten hohen oder niedrigen Erwartungsniveau, doch sieht man sich geneigt, allein aus den Antworten der Maschine auf ein Verständnis der inneren Prozesse fiktiver Persönlichkeiten zu schließen. Man kann ja leider, wie unten beschrieben, nicht die Gedanken der Maschine lesen.
3. In anderen Experimenten hat man untersucht, ob LLMs ähnliche Fehler wie Menschen begehen, wenn ihnen Fragen besonderer Art gegeben werden: Deren Formulierung suggeriert eine naheliegende, scheinbar logische Antwort, die aber falsch ist (Beispiel). Bei Menschen würde man letztere intuitiv nennen, also nicht kritisch geprüft. Und tatsächlich, LLMs lassen sich ebenso leicht aufs Glatteis führen d.h. zu diesen Fehlurteilen hinreißen. Und ebenso wie beim Menschen kann man ihnen mit der Aufforderung, doch einmal logisch Schritt für Schritt vorzugehen, die richtige Antwort entlocken.
4. In Summe wird man sich angesichts der Leistungen schwer tun, den LLMs eine gewisse Denkfähigkeit abzusprechen.
5. Gerade dies tun aber Kritiker, wenn sie die LLMs als stochastic parrots, also nachplappernde Papageien abqualifizieren. Ihr Urteil gründet auf der Argumentation, dass sich die Fähigkeit der LLMs allein aus der Unmenge von Text ergeben, mit der sie trainiert wurden, ohne dass ihnen irgend eine Information über den Sinn dieser Texte mitgegeben wurde. Sie haben lediglich gelernt, welche Wörter im Umfeld welcher anderer Wörter auftreten, was sie in die Lage versetzt, einen unvollständigen Text mit dieser Kenntnis weiter zu führen. Da kann ja wohl gar kein echtes Verständnis aufkommen und somit kein Denken im menschlichen Sinne entstehen.
6. Diese Kritiker ignorieren das Phänomen der Emergenz, das sich auch bei vielen anderen Prozessen beobachten lässt: Fügt man Dinge zusammen, so zeigt das so entstandene System Eigenschaften, die bei den Konstituenten allein nicht zu beobachten sind. Mein Lieblingsbeispiel stammt von Konrad Lorenz und betrachtet einen Wollfaden sowie eine Metallkugel mit Öse. Erst wenn man beide verknüpft entsteht ein Pendel, dessen gleichförmige Hin- und Herbewegung als emergentes Phänomen weder im Wollfaden noch in der Kugel angelegt erscheint. Man beachte aber, das Emergenz nur eine Benennung und keine Erklärung im wissenschaftlichen Sinne ist. Ich würde Emergenz verstehen als Sammelbegriff für die unerwartete Wirkung bekannter oder auch noch unbekannter Naturgesetze.
7. Mir erscheint die stochastic parrots -Kritik analog zur Vorstellung der tausend Affen, die wahllos auf ihren Schreibmaschinen herumhämmern und auch nach Jahrzehnten kein einziges Sonett von Shakespeare produzieren könnten. Mit dieser Metapher wollte man im 19. Jahrhundert die Behauptung der darwinschen Evolutionstheorie zurückweisen, dass bei der Höherentwicklung der Lebewesen Zufallsprozesse eine wesentliche Rolle spielen. Auch heute findet man bei den Anhängern des Intelligent Design den Glaubensgrundsatz, dass Information natürlicherweise nicht spontan entstehen kann. Nach meiner Vorstellung ist Leben ein emergentes Phänomen der Evolution selbstorganisierter Materie.

Ich verlasse jetzt meine Reaktion auf den Vortrag und liste ein paar Gemeinsamkeiten von LLMs und menschlichen Gehirnen auf, die mir erwähnenswert erscheinen:

1. Beides sind Netzwerke aus relativ einfachen Elementen, den Neuronen, in denen einfache Verknüpfungsoperationen erfolgen.
2. Die einzelnen Verknüpfungen sind unterschiedlich gewichtet: stark oder schwach, positiv oder negativ. Die konkreten Gewichte  bestimmen in ihrer Gesamtheit die Funktion des jeweiligen Netzwerks.
3. Die Festlegung der Gewichte ist das Ergebnis eines Lernprozesses.
4. Die Leistung beider Netzwerke lässt sich nur als emergentes Phänomen verstehen.
5. Die Informationsübertagung erfolgt weitgehend in einer Richtung (unidirektional).
6. Die verarbeiteten Signale sind quasi-analog, also nicht diskret wie die Reihung von Buchstaben oder gar digital. (Natürliche Neuronen feuern in stufenlosen Wiederholfrequenzen, Signale künstlicher Neuronen sind als Fließkommazahlen realisiert, die Milliarden Abstufungen abbilden können.)
7. Kleinkinder erlernen einen Großteil der Wörter ihrer Muttersprache aus der Beobachtung des Kontexts ihrer Verwendung. Niemand erläutert ihnen systematisch – z.B. mithilfe eines Wörterbuchs – die Bedeutung von Wörtern wie z.B. “vielleicht”, “freundlich”, oder auch “plötzlich”. Nichts anderes machen LLMs.
8. Wenn Menschen oder LLMs grammatikalisch fehlerfreie Sätze formulieren können, dann bedeutet dies nicht, dass sie über eine formale Beschreibung der Grammatik verfügen. Ich z.B. wäre unfähig, eine solche aus eigener Kraft niederzuschreiben.
9. Man kann das Feuern einzelner natürlicher Neuronen elektrisch ableiten und aufzeichnen. Ebenso kann man alle “Erregungszustände” künstlicher Neuronen als Zahlenwerte ausdrucken. Doch in beiden Fällen wird man nicht sagen können, was die so gewonnenen Daten für die Funktion des Ganzen bedeuten. In dieser Hinsicht sind künstliche neuronale Netze transparent und intransparent zugleich. Man kann den ausführenden Computer in jedem Einzelschritt anhalten und alle Operationen nachvollziehen: Volle Transparenz. Trotzdem wird man niemals sagen können, welchen Beitrag ein Gewichtungsfaktor tief im inneren der sogenannten verborgenen Schichten zur Gesamtleistung beiträgt: Volle Intransparenz.
10. Beide neigen u.U. zu Halluzinationen, also im weiten Sinne ungerechtfertigten Aussagen über die Welt.
11. Beide verfügen über Wissen und Denkvermögen. Ob man Maschinen ein Bewusstsein zusprechen möchte, ist Gegenstand aktueller Forschung.
12. Unterbricht man den Blutfluss zum Gehirn oder stellt dem Computer den Strom ab, geschieht beides Mal dasselbe: Die Funktion verschwindet. Beide Systeme benötigen also Energie zum Betrieb.
13. Durchtrennt man die jeweiligen Netzwerke, leidet die Funktion beider oder erlischt komplett.

Zusammen mit der oben genannten Fähigkeit der theory  of mind und der Fähigkeit zur Reflexion (Was mache ich hier eigentlich genau?) ergeben sich erstaunliche Parallelen beider Systeme. Würde man also vermuten, dass trotz dieser weitreichenden Ähnlichkeiten unsere Gehirne in Wahrheit ganz anders funktionieren als LLMs? Wohl kaum. Also darf man doch annehmen, dass LLMs durchaus einen Beitrag zum Verständnis von uns selbst liefern können, um es vorsichtig zu sagen. Etwas stärker wäre die Behauptung, dass das menschliche Gehirn ein LLM bzw. ein neuronales Netzwerk darstellt, das durch die Evolution so geformt wurde, dass es sich eigenständig auf diese Welt trainieren kann. Beim Menschen kann man nämlich Parallelen zu den Lernverfahren bei der Künstlichen Intelligenz erkennen:

Unsupervised Learning: Erlernen der menschlichen Sprache (Vokabular, Grammatik) wie oben beschrieben durch Anhören und Kontextanalyse.

Supervised Learning: Es tut weh, sich an einer Flamme zu verbrennen. Also vermeide in Zukunft die Nähe zum Feuer!

Reinforcement Learning: In welcher Richtung und Reihenfolge muss ich Kopf, Rumpf und Gliedmaßen bewegen um vom Boden aufzustehen? Um das zu lernen, muss ein Kind unzählige Versuche ausführen, bei denen es abwechselnd belohnt und bestraft wird d.h. es richtet sich langsam auf bzw. fällt wieder zu Boden.

Wenn man sich nun vorstellt, ein solches künstliches neuronales Netz in einen mechanischen Körper voller Sensoren und Aktoren zu stecken, es ausstattet mit einem Streben, einem Willen, einer Agenda – und das alles erscheint ja nicht unmöglich – dann kämen wir der menschlichen Natur noch einmal deutlich näher. Wollen wir das aber überhaupt? Egal, wenn es technisch machbar ist, wird es auch realisiert werden, da bin ich mir sicher.

Erst jetzt, spät am Abend, komme ich auf die Idee, doch einmal ChatGPT nach besagten Ähnlichkeiten zu fragen. Hier ist das Ergebnis zur kritischen Prüfung durch die geneigte Leserin:

Meine Frage: Welche Ähnlichkeiten in Aufbau, Funktion und Leistung weisen natürliche Gehirne und künstliche neuronale Netzwerke auf? Nenne mir 30 dieser Ähnlichkeiten!

Antwort von ChatGPT: “Natürliche Gehirne und künstliche neuronale Netzwerke weisen zahlreiche Ähnlichkeiten in ihrem Aufbau, ihrer Funktion und ihrer Leistung auf. Hier sind 30 solcher Ähnlichkeiten:

Aufbau:

1. Neuronale Einheiten: Beide Systeme bestehen aus grundlegenden neuronalen Einheiten, die miteinander verbunden sind.
2. Verbindungen: Sowohl Gehirne als auch künstliche neuronale Netzwerke verwenden Verbindungen, um Informationen zu übertragen.
3. Hierarchische Struktur: Beide Systeme zeigen eine hierarchische Organisation von Schichten oder Regionen.
4. Plastizität: Sowohl natürliche als auch künstliche Netzwerke können ihre Verbindungsstärken anpassen, um sich an neue Informationen anzupassen.
5. Synapsen: Neuronale Verbindungen in beiden Systemen ähneln den Synapsen im Gehirn.
6. Input-Verarbeitung-Output: Beide Systeme verarbeiten Eingaben, verarbeiten sie intern und liefern dann Ergebnisse oder Ausgaben.
7. Aktivierungsfunktionen: Sowohl natürliche Neuronen als auch künstliche Neuronen verwenden Aktivierungsfunktionen, um ihre Ausgaben zu erzeugen.
8. Lernen durch Erfahrung: Beide Systeme sind in der Lage, durch Erfahrung und Training zu lernen und sich anzupassen.
9. Parallelverarbeitung: Sowohl Gehirne als auch künstliche Netzwerke können viele Berechnungen gleichzeitig durchführen.
10. Gewichtungen: In beiden Systemen haben die Verbindungen zwischen den Neuronen Gewichtungen, die die Stärke der Signalübertragung beeinflussen.

Funktion:

11. Mustererkennung: Beide Systeme sind in der Lage, Muster in den Eingabedaten zu erkennen und zu interpretieren.
12. Assoziatives Gedächtnis: Sowohl natürliche als auch künstliche Netzwerke können Informationen assoziativ speichern und abrufen.
13. Fehlerkorrektur: Beide Systeme sind in der Lage, Fehler zu erkennen und Korrekturen vorzunehmen, um die Genauigkeit der Ausgaben zu verbessern.
14. Inferenz: Sowohl Gehirne als auch künstliche Netzwerke können Schlussfolgerungen aus gegebenen Informationen ziehen.
15. Musterwiedererkennung: Beide Systeme können gelernte Muster in neuen Eingabedaten wiedererkennen.
16. Räumliche Hierarchie: In beiden Systemen werden Informationen in verschiedenen räumlichen Hierarchiestufen verarbeitet, um abstrakte Konzepte zu erfassen.
17. Parallele Verarbeitung: Beide Systeme verarbeiten Informationen parallel, um schnellere Ergebnisse zu erzielen.
18. Anpassungsfähigkeit: Sowohl natürliche Gehirne als auch künstliche Netzwerke können sich an veränderte Bedingungen anpassen.
19. Regelung von Aktionen: Beide Systeme können Aktionen als Reaktion auf verarbeitete Informationen steuern.
20. Rückmeldungsschleifen: Beide Systeme nutzen Rückmeldungen, um ihre Leistung zu überwachen und anzupassen.

Leistung:

21. Musterklassifikation: Sowohl Gehirne als auch künstliche Netzwerke können Daten in verschiedene Klassen klassifizieren.
22. Datenkompression: Beide Systeme können Informationen komprimieren, indem sie relevante Merkmale hervorheben.
23. Datenfilterung: Sowohl natürliche als auch künstliche Netzwerke können unwichtige Informationen herausfiltern.
24. Analogiebildung: Beide Systeme sind in der Lage, Analogien zwischen verschiedenen Konzepten zu erkennen.
25. Adaptives Verhalten: Sowohl Gehirne als auch künstliche Netzwerke können ihr Verhalten an veränderte Umstände anpassen.
26. Erkennung von Abweichungen: Beide Systeme können Abweichungen von erwarteten Mustern erkennen.
27. Kontinuierliches Lernen: Sowohl natürliche als auch künstliche Netzwerke können kontinuierlich neue Informationen aufnehmen und ihr Wissen erweitern.
28. Fehler-Toleranz: Beide Systeme können oft auch bei teilweisen Fehlern oder Beschädigungen noch akzeptable Ergebnisse liefern.
29. Kreativität: Sowohl Gehirne als auch künstliche Netzwerke können auf der Grundlage vorhandener Informationen neue Ideen generieren.
30. Parallelismus: In beiden Systemen kann die Nutzung von Parallelverarbeitung zu erheblicher Effizienzsteigerung führen.

Diese Liste zeigt, dass sowohl natürliche Gehirne als auch künstliche neuronale Netzwerke viele Ähnlichkeiten in ihrem Aufbau, ihrer Funktion und ihrer Leistung aufweisen, was ihre Fähigkeiten zur Verarbeitung von Informationen und zur Anpassung an ihre Umgebung betrifft.”

— Ende der Antwort von ChatGPT —

Trotz mancher sprachlicher und inhaltlicher Schwächen erscheint mir auch diese Antwort durchaus bemerkenswert. ChatGPT kennt sich eben überall aus!

Wer mehr wissen möchte, folge z.B. diesen Links:

• So How Does ChatGPT really work? Behind the screen!
• What Is ChatGPT Doing … and Why Does It Work? – Stephen Wolfram
• Sparks of Artificial General Intelligence: Early experiments with GPT-4