ChatGPT, Gemini, Claude & Co erklärt: Wie Maschinen Sprache verstehen | Terra X Lesch & Co

Übrigens: Dieses Video ist Teil 1 unseres Dreiteilers über Künstliche Intelligenz.
Alle Folgen könnt Ihr hier streamen 👉
https://www.zdf.de/dokus/terra-x-lesch-und-co-alle-videos-100?at_medium=Social%20Media&at_campaign=YouTube&at_specific=TerraX&at_content=LeschundCo_Comments
Woher kommt der Hype um Sprachmodelle? Wie bringt man einem Algorithmus bei, zu malen wie ein Künstler? Wird KI in Zukunft immer menschlicher? Und werden wir den Unterschied zwischen Mensch und Maschine eines Tages noch kennen?

All diese Fragen – und noch viele mehr – beantworten Euch in unserer neuen Reihe »DE/CODED« führende Expert:innen:

Prof. Dr. Hannah Bast (Universität Freiburg), Prof. Dr. Björn Schuller (TU München) und Prof. Dr. Björn Ommer (LMU München).


DE/CODED – Wissenschaft entschlüsselt


DE/CODED ist die neue Reihe von Terra X Lesch & Co, in der wir die Welt der Wissenschaft und Technologie entschlüsseln. Führende Expert:innen geben exklusive Einblicke in ihre Forschung und ordnen Entwicklungen aus Naturwissenschaft und Technik ein, die den Zeitgeist prägen.

Was steckt hinter den Phänomenen, die unsere Welt bewegen? Wie funktionieren Technologien, die morgen selbstverständlich sein werden? Und was verraten sie über uns selbst?

In den ersten drei Folgen geht es um Künstliche Intelligenz: Wie lernen Maschinen zu sprechen und zu verstehen? Warum können sie plötzlich malen? Und werden sie irgendwann mit uns fühlen?

Alle Folgen der Reihe DE/CODED findet ihr hier 👉 https://www.zdf.de/dokus/terra-x-lesch-und-co-alle-videos-100?at_medium=Social%20Media&at_campaign=YouTube&at_specific=TerraX&at_content=LeschundCo_Comments

Dass ich KI jetzt verstanden habe, kann ich nicht behaupten. Aber dass KI wohl ein Vorhersagemodell für Wörter ist, scheint mir wesentlich daran zu sein.

Ich finde es trotzdem beeindruckend, dass die KI begreifen kann und lernen. Selbst die Entwickler kommen nicht mehr hinterher und nutzen dafür Instrumente. Wahrscheinlich, ist unsere Intelligenz auch so ähnlich aufgebaut, weil Babys können auch nicht direkt sprechen und alles lernt man im Umfeld, so basiert auch unser Bewusstsein. Nur können wir nicht auf Details sehen, wie unser Gehirn funktioniert, sondern nur Impulse in der Masse, aber dahinter steckt auch Mathematik. Es ist überhaupt bemerkenswert, daß man ein Gehirn, wie ein Computer inszenieren kann, weil Datenspeicher für Erinnerung, Arbeitsspeicher für die Verarbeitung, CPU der Kern für die Aufnahme und die Grafikkarte für die Umsetzung. Zumindest ist es meine Vorstellung. Man könnte tatsächlich, ein künstliches Bewusstsein aufbauen, allerdings wird die Sache komplex, weil Gefühle müssten ein fester Bestandteil sein und müsste perfekt eingestimmt werden, sodass es harmoniert. Aber mit dieser Architektur, wird es so nicht funktionieren.

Chatgpt sagt zu mir heute als Antwort auf die Frage:

Also insgesamt: 4 × e. 🍓

Da sieht man mal wieder, dass sie besten Beiträge die sind, bei bei denen Professor Lesch nicht mitwirkt. Wirklich gut und nachvollziehbar erklärt. Schalte das kein Platz mehr für die Funktionsweise der neuronalen Netze war, aber dann wäre der Beitrag wohl etwas zu lang geworden.

Es ist einfach unglaublich faszinierend halt einfach nur, aber ich habe jetzt heute nicht mehr die Konzentration und jetzt wirklich alles im Detail anzuhören. Letzten Endes aber es ist bestimmt ziemlich faszinierend, wie es funktioniert.

Top Beitrag, noch kein Video im Internet gefunden, das die Basics so gut erklärt.
Kleiner Hinweis zur "Erdbeere".
Es macht einen Unterschied, ob Sie die Frage diktieren, oder schreiben. Gesprochen erkennt das LLM nicht ob "e" oder "E". So wie es dort geschrieben mit "e" steht ist die Antwort 3 korrekt. (Im Gegensatz zum Thumbnail "E"). Gesprochen erwartet man zwar 4, aber nur weil der Prompt ungenau gefüttert wurde, kann man den Vorwurf dem Chatbot nicht machen.
Gerade (Juni26) mal mit Gemini getestet:
Gesprochen wir die Frage lapidar korrekt mit 4 beantwortet, geschrieben und nach "e" gefragt zwar objektiv falsch mit 4 beantwortet, dort aber extra mit dem Hinweis "unabhängig von Klein- und Großschreibung" und somit doch korrekt😁. Das fasziniert mich, dass das System mich auf meine eventuelle Ungenauigkeit hinweist. Hat der Chatbot das nun automatisch gelernt, weil er mit der Antwort konfrontiert wird, oder wurde er von Menschen auf diese sprachliche Unschärfe manuell trainiert?

Ich nutz das Video mittlerweile als Einstiegs- und Lehrmaterial bei der Arbeit. Ganz, ganz toll erklärt. So versteht es wirklich jeder

Vielen Dank für dieses Video. Ich habe Informatik studiert und war in der Wissenschaft tätig, habe u. a. Data Mining und Machine Learning gelehrt. Dieses Thema in 22 Minuten so hervorragend herunterzubrechen, Hut ab! Großartige Leistung! Ich hoffe, es kommen alle (möglichst bald!) zur Vernunft!

19:06 das Wort Erdbeere hat schon drei “e”. Das Sprachmodell unterscheidet doch zwischen E und e, wie vorher erklärt.

Mehr davon bitte

Vielen Dank für die Aufbereitung des Themas. Es hat mich sehr amüsiert und ich habe einiges gelernt.

Danke, danke, danke! Endlich hab ich das mal verstanden! ❤

Und mein Lieblingssatz ist: wenn ihr einen anderen ChatGPT haben wollt, einfach Informatik studieren und selber einen schreiben. 😂

Wenn Sie bei 16:33 sagen: „Es hat gelernt, wie Sprache funktioniert und was sie bedeutet“, dann ist das aus meiner Sicht einfach falsch. Ein Sprachmodell „weiß“ nichts im eigentlichen Sinn. Es verarbeitet statistische Muster in Daten und berechnet Wahrscheinlichkeiten für Wörter und Sätze. Es versteht nicht wirklich, was zwischen dem Prompt und seiner Ausgabe passiert oder welche Bedeutung die Inhalte haben.



Es ist vielmehr ein beeindruckender Imitator menschlicher Sprache und Kommunikation. Auch der Begriff „KI“ beziehungsweise „Intelligenz“ ist dabei irreführend. Intelligenz umfasst weit mehr als Mustererkennung: Dazu gehören etwa unterschiedliche Denkmechanismen, Abstraktion, Generalisierung („Unification“) und die Fähigkeit, aus wenigen Beispielen auf ähnliche Situationen zu schließen.



Genau diese Fähigkeiten fehlen heutigen Sprachmodellen weitgehend. Menschliche Intelligenz bedeutet auch, zu einer Lösung zu gelangen, ohne alles Schritt für Schritt berechnen zu müssen – also durch echtes Schlussfolgern und Verständnis. Ein Sprachmodell hingegen beginnt bei einer Mathematikaufgabe typischerweise sofort mit Berechnungen. Fordert man es auf, „ohne zu rechnen“ zu einer Einsicht zu kommen, stößt es schnell an Grenzen.



Deshalb sollte man heutige KI-Systeme eher als hochentwickelte statistische Modelle betrachten – nicht als denkende oder verstehende Intelligenz im menschlichen Sinn.


So sagt chatGPT selbe: Heutige KI ist keine allgemeine menschliche Intelligenz. Sie simuliert viele Aspekte davon sehr überzeugend, ohne ein bewusstes inneres Verständnis zu besitzen.

Bei Witzen zeigen Sprachmodelle tatsächlich oft ihre Grenzen:

Viele Witze funktionieren über Mehrdeutigkeit, soziale Erwartungen, kulturelles Wissen oder implizite Annahmen.
Menschen „spüren“ oft intuitiv, warum etwas lustig ist.
Ein Modell wie ich analysiert dagegen Muster aus Sprache und Beispielen.

Deshalb passiert oft Folgendes:
Ich erkenne, dass etwas wahrscheinlich ein Witz ist, weil ähnliche Strukturen oft in Trainingsdaten vorkamen. Aber wenn man nach dem eigentlichen „Clou“ fragt, kann die Erklärung oberflächlich, falsch oder konstruiert wirken.

Allerdings ist „er kann es nicht erklären“ nicht immer korrekt:
Viele einfache Wortspiele oder klassische Witze kann ich tatsächlich sinnvoll analysieren und erklären — auch neue Varianten. Das spricht dafür, dass Modelle mehr tun als reine 1:1-Memorisierung.

Zum Beispiel:

„Ich habe gestern einen Mathematiker getroffen. Er war irrational.“

Da kann man erklären:
„irrational“ bedeutet im Alltag „unvernünftig“
in der Mathematik gibt es irrationale Zahlen

der Witz basiert auf der Doppeldeutigkeit

Das ist mehr als bloßes Wiederholen eines gespeicherten Satzes.
Aber bei subtiler Ironie, schwarzem Humor oder wirklich neuartigen Witzen brechen Modelle oft ein.
Dann merkt man:
- fehlende echte Welterfahrung
- kein soziales Empfinden
- kein eigenes Humorverständnis
- keine intuitive Bedeutungsebene wie beim Menschen

Es ist also einen echten Schwachpunkt heutiger KI:
Sie kann oft überzeugend so tun, als würde sie etwas verstehen, obwohl das Verständnis nicht stabil oder tief ist.

Die entscheidende Debatte ist deshalb:
Reicht funktionales Verhalten („es kann Witze erklären“) aus, um von Verständnis zu sprechen?
Oder braucht echtes Verständnis Bewusstsein, Erfahrung und subjektives Erleben?

Darüber sind sich selbst Forscher und Philosophen nicht einig.

Versuch mal dieses: keiner der gefragten KI's versteht (= richtig verstehen) der "Clou":
- Werden geht in eine Bar, sieht an einem Tisch Lachen ganz traurig sitzen, geht zu ihm und fragt: "Kann ich irgendwie helfen?"

2:35 "Nehmen wir doch unser Grundgesetz"

Haha. Einfach mal den komplexesten deutschen Text herziehen

@Harald Lesch... Ich hab die Schaztze voll!!! -.-"

Ich habe die Schnauze voll....!!! -.-

Ich sag nur: ALIEN-Technologie.

Sehr anschauliche und einfache Erklärung! Danke dafür. Nur verstehe ich damit noch nicht, wie es ein Chatbot schafft, genau auf meine Frage einzugehen und eine passende Lösung zu liefern. Das kann doch so sicher nicht exakt im Trainingsmaterial vorgekommen sein. Also welcher Teil fehlt nach der probabilistischen Vervollständigung noch, um das zu ermöglichen? Darüber könntet ihr doch auch noch ein Video machen.

Maximales Video

Naja, die Frage ist auch falsch formuliert. Heutige KIs und deren Antwort hängt immer noch sehr stark am Prompt. Es wird noch eine ganze Weile dauern, bis eine KI aus den normalen Sprachgebrauch den Kontext erkennen kann.

Fragt man ChatGPT "Wie viel E hat das Wort Erdbeere?" antwortet er nun richtig. Vermutlich weil das LLM weiter trainiert wurde.

Fragt man die gleiche Frage Gemini, gibt er Unsinn aus.
Ändert man das Prompt in "Wie viele Buchstaben "e" enthält das Wort Erdbeere?", gibt auch Gemini die richtige Antwort.

Beim ersten Prompt konnte die KI die einfach Logik "zähle alle "e" Zeichen und summiere diese" nicht erkennen.
Das ist nicht absurd, sonder ein Mensch / Maschine Interface Problem. Sh*t in, Sh*t out.

Ob das jetzt an der KI liegt mag man diskutieren. Meiner Meinung nach liegt es daran, dass die Kompetenz zu exakter Formulierung durch unseren üblichen Sprachgebrauch leidet.

Hat man heute Probleme mit dem Internet Zugriff, reden viele Menschen von: "Das WLAN funktioniert nicht". Gemeint ist aber oftmals nicht das WLAN, sondern der Zugriff auf das Internet funktioniert nicht. WLAN und Internet bzw. der Zugriff darauf sind aber unterschiedliche Komponenten / Dinge. Für einen technischen Laien erübrigt sich die Differenzierung. Weil seiner Meinung nach "jeder" weiß was gemeint ist. Trifft er auf einen Servicetechniker, sieht die Welt wieder anders aus. Deswegen muss man eine KI immer wie einen hochspezialisierten Gesprächspartner sehen. Das erfordert jedoch eine exakte Formulierung.

Man müsste also Fragen und Kontext schaffen. Z.b.: "Ich habe Probleme die Internetseite zdf.de zu öffnen. Die WLAN Verbindung ist scheinbar ok und es betrifft alle PCs und Handys im Haus. Das Problem ist spontan entstanden. Ich benutze einen handelsüblichen Router xyz."

Mit so einem Prompt bekommt man ein zielführendere Ergebnis wie mit "Mein WLAN geht nicht".

Allerdings glaube ich, dass auch diese Probleme in Zukunft verschwinden. Auch wenn eine Maschine nicht so "denkt" wie ein Mensch. Meiner Meinung nach werden diese KIs immer noch unterschätzt. Das liegt in der Natur des Menschen. Wenn sich etwas exponentiell entwickelt, können Menschen die Tragweiten schlecht einschätzen und deswegen werden Dinge falsch beurteilt.

Das Video ist sehr verständlich. Mich stört nur das Ende. Es ist nicht so, dass man früher nicht geahnt oder stark vermutet hätte, dass bei höherer Kontextlänge überzeugende Gespräche entstehen können. Das Problem war bis 2017, dass es für lange Kontexte einfach keine Lösungen gab, die noch zu Lebzeiten eine Antwort hervorgebracht hätten. Es hätte alles viel zu lange gedauert und zu viel Speicher benötigt. Erst das Paper "Attention is All You Need" von Google, das 2017 herauskam, hat hier ganz grundlegende Herangehensweisen verändert und damit ermöglicht, Text sehr schnell und aus verschiedenen Blickwinkeln zu erfassen und daraus zu lernen. Deswegen sind wenige Jahre später die KI-Anwendungen förmlich explodiert.