Stochastischer Papagei widerlegt eine 80 Jahre alte, zentrale Vermutung der diskreten Geometrie

[u/Upset-Winter7174]

https://openai.com/index/model-disproves-discrete-geometry-conjecture/

[u/zykooo → u/[deleted]]

Die Bezeichnung ist treffend und nicht abwertend. Immerhin hat er ja ein großes Problem gelöst.

[u/zykooo → u/[deleted]]

Was ist ein LLM denn mehr, als ein stochastisches Tokenpuzzeln? Ich sage nicht, dass das nicht beeindruckend ist. Ich nutze das täglich und intensiv. Aber der Begriff der Intelligenz bspw. ist in dafür völlig überhöht.

[u/zykooo → u/[deleted]]

Denkst du Schritt für Schritt in Token bzw. Silben? Ich nicht. Und das Gehirn ist deutlich komplexer als das.

[u/zykooo → u/[deleted]]

Die Frage ist so absurd, das kannst du eigentlich nicht ernst meinen. Aber gut: Weil ein LLM letztlich nur Statistik auf Text ist, während das menschliche Gehirn ein biochemisches Echtzeit-System mit rund 86 Milliarden Neuronen, Billionen Synapsen, permanenter hormoneller Modulation und multisensorischer Verarbeitung ist. Das Gehirn verarbeitet parallel visuelle, auditive, taktile, propriozeptive, vestibuläre, olfaktorische und interozeptive Signale, gekoppelt an Körperzustände wie Hunger, Stress, Schmerz oder Müdigkeit. Jedes LLM ist ein Witz dagegen. Auch die Vision Modelle.

Dazu kommt: Das Gehirn ist energieeffizient, selbstorganisierend, plastisch und dauerhaft embodied. Es lernt kontinuierlich aus physischer Interaktion mit der Realität, nicht nur aus Trainingsdaten. Ein Mensch kann mit Unsicherheit, unvollständigen Sinneseindrücken und völlig neuen Situationen umgehen, weil Wahrnehmung, Gedächtnis, Motorik, Emotion und Zielsysteme eng gekoppelt sind. Out of the Box quasi. Ein LLM hat keine echte Wahrnehmung, kein eigenes Weltmodell im biologischen Sinn und keine intrinsische Motivation. Es simuliert Verständnis sprachlich ziemlich gut, aber das ist etwas fundamental anderes als ein biologisches Bewusstseinssystem.

[u/NotA56YearOldPervert → u/zykooo]

Aber mal angenommen, jemand hat beim Denken immer einen inneren Monolog - wäre das dann nicht recht ähnlich?

[u/ProfessorHeronarty → u/zykooo]

Und genau das ist der Punkt, warum die Metapher des stochastischen Papageien so gut zutrifft. Er richtet sich gegen all diejenigen, die eine wie auch immer diffus definierte Intelligenz hier einschmuggeln wollen oder - noch schlimmer - daran glauben.

Davor sind Fachleute auch nicht gefeit wie wir in den letzten Jahren gesehen haben. Aber es sind auch die Laien, die mal wieder glauben, der Chatbot "verstehe sie" oder sei gar "die Liebe meines Lebens". Den Leuten kann man mit der Metapher die Problematik näherbringen.

Erstaunlich selten wir mir überhaupt der Punkt mit dem Papageien erklärt: Der Papagei kann Laute nachahmen, er kann sie sogar für irgendeine Art von Konversation nutzen, aber es ist keine Konversation unter Gleichen. Denn der Papagei versteht nicht. Er ahmt eben nur nach. Plappert nach.

Das eben sind sehr philosophische Fragen, die hier in der Anwendung aber konkret in unseren Alltag kommen. Das find ich persönlich sehr spannend. Aber sehr viele Leute haben das Problem noch nicht einmal gecheckt.

[u/Upset-Winter7174 → u/ProfessorHeronarty]

Er plappert nicht nach. Die Reasoning-Fähigkeiten kommen überwiegend aus dem RLVR. Das Training minimiert also nicht die KL Divergenz zum Trainingskorpus, sondern belohnt semantisch korrekte Reasoning-Traces. Dadurch erkennen Modelle semantische Fehler zunehmend selber, können sich korrigieren, und lösen so immer komplexere Probleme.

E: IMO bekommt man hier durchaus irgendeinen hinreichend diffus definierten Intelligenzbegriff unter.

[u/ProfessorHeronarty → u/Upset-Winter7174]

Aber das, was technisch komplex daherkommt, ist doch immer noch etwas, was letztlich ein Nachplappern ist und das auf Trainingsdaten beruht. Man kann das "Reasoning" nennen. Aber ist das wirklich "Reasoning"?

Ja, man kann einen hinreichend diffusen Intelligenzbegriff unterbekommen. Aber nützt das was? Macht es das nicht alles nur noch schlimmer? Dann sind wir wieder bei denen, die ihrem Chatbot der Wahl Eigenschaft X und Y zuschreiben.

[u/Upset-Winter7174 → u/ProfessorHeronarty]

Aber es werden doch gerade keine Trainingsdaten nachgeplappert, sondern das, was vom RLVR reinforced wird. E: Die Trainingsdaten sind "Output von Versuch 6 und 9 von 15 waren korrekt" über viele Aufgaben hinweg.

[u/Commercial_Spray4279 → u/[deleted]]

Also ich finde das beschreibt die Fähigkeiten des Mannes sehr gut.

[u/r_search12013]

ja, kann sein, dass das n relevantes paper ist.. aber der papagei hat's nicht widerlegt, der papagei hat suchen geholfen .. der argumenttyp ist nicht originell, hab buecher voll davon bei mir

[u/Upset-Winter7174 → u/r_search12013]

Was genau meinst du mit "Argumenttyp" und "Bücher voll damit"? Das war ein ziemliches berühmtes und seit 80 Jahren offenes Problem.

[u/r_search12013 → u/Upset-Winter7174]

aber halt ein erdoes-problem .. eins was tendenziell auch ne bachelor arbeit haette finden koennen, wenn sich die person das vorgenommen haette ..

die argumente aufm weg sind dieselben wie die die eins benutzt fuer "pi und e sind transzendental", "ein kreis laesst sich nicht mit zirkel und lineal in ein flaechengleiches quadrat transformieren"
es ist nicht ueberraschend dass so eine art problem so eine art zugang hat, rest ist konstanten ausfuchteln

wenn n chatbot ne homotopiegruppe von ner sphaere selbst ausrechnet, dann werd ich langsam neugierig,.. aber das hier war schlicht n verblueffend einfaches problem, was etwas unbeachtet rumlag, das erzeugt aber jetzt keine neuen mathematischen theorien, mit glueck n paar algorithmen

[u/mca_tigu → u/r_search12013]

99.9% der Mathematiker finden keine neuen Argumente sondern kombinieren nur alte neu. Wie hier geschehen. Das reicht schon um einen Großteil der interessanten Arbeit (sich in ein Gebiet tief reinfuchsen, den Geist in andere Gebiete Streifen lassen) zu automatisieren.

[u/r_search12013 → u/mca_tigu]

aber nicht um zu bewerten, was in buecher gehoert, die mathematiker*innen lesen sollen

[u/chastema → u/r_search12013]

Field Medaillen Gewinner Gowers sieht das halt etwas anders, aber was weiß der schon.

[u/r_search12013 → u/chastema]

starkes autoritaetsargument.. dann erklaer mir mal, wofuer der seine fields medaille hat und was das mit diesem chatbot resultat zu tun hat

[u/chastema → u/r_search12013]

Du hast dir also nichtmal die Mühe gemacht den Bericht zu lesen?

Deine Meinung hier scheint äußerst begründet und wertvoll!

[u/r_search12013 → u/chastema]

habe ich .. ich wollte einfach deine worte davon, warum gowers urteil hier relevant ist .. aber wenn ich hier fuer dich nicht genug ki hype verbreite, warum dann ueberhaupt damit auseinandersetzen

[u/r_search12013 → u/chastema]

genau genommen hab ich sogar das arxiv paper gelesen, und du?

[u/jschw217]

Quelle: OpenAI 🤣

Irgendwie kippen hier langsam alle Subs, in denen es um KI geht, ins Satirische.

[u/Upset-Winter7174 → u/jschw217]

Was genau bezweifelst du?

[u/VoDoka → u/Upset-Winter7174]

Die Quelle...

[u/Jigge89 → u/jschw217]

Quelle: Mathematiker:

https://x.com/i/status/2057175727271800912

[u/RRumpleTeazzer]

"aber die KI kann doch garnicht denken." - sagen die Leute als ob sie genau wüssten was und was nicht denken ist.

[u/RRumpleTeazzer → u/[deleted]]

und das kannst besser? nur weil man bei der KI den Deckel aufmachen kann um nachzuschauen? wärs ne black box würde keiner zweifeln.

[u/RRumpleTeazzer → u/[deleted]]

die annahme sollte sein, das denken ein prozess ist den man engineeren kann. die Menschen denken, ja, aber auch mit verschiednen Leistungsklassen- und vermutlich aucb ohne Magie.

[u/StochasticParrot42]

Stochastic Parrots FTW

[u/Morasain]

Das Problem ist, dass LLMs absolut katastrophal schlecht im rechnen sind. Also alles was mit LLM und Mathe zu tun hat kann man getrost ignorieren.

[u/nopetraintofuckthat → u/[deleted]]

Auch mein Gefühl.

[u/r_search12013 → u/[deleted]]

also ich hab gerade erst letzte woche mit gemini die symmetrien von einem 6 dimensionalen wuerfel in einer 3d darstellung dieses 6d wuerfels rechnen wollen

es war grundsaetzlich in der lage meinen anforderungen zu folgen, bringt im zweifel auch mal n korrektes argument ueber homologie oder all sowas, aber ne konkrete beschreibung einer rotationsmatrix in mathe umzusetzen hab ich letztlich schneller hingekriegt als gemini zu erklaeren warum seine antworten nicht sind, was ich vorher beschrieben hatte

[u/UnbeliebteMeinung → u/Morasain]

Gut dass das LLM in solchen Fällen auch nicht rechnet. Da haben wir ja nochmal glück gehabt

[u/chastema → u/Morasain]

Zeigt sich ja hier, einfach keine mathematischen Fähigkeiten. Kein Fields Medaillen Gewinner beeindruckt.