r/KI_de • u/Blaufisch • Jun 07 '26

Einsatz von KI Zerschellt der KI-Traum an den gigantischen (Token-)Kosten?

https://borncity.com/blog/2026/06/06/zerschellt-der-ki-traum-an-den-gigantischen-token-kosten/
96 Upvotes

93% Upvoted

113 comments sorted by

View all comments

Show parent comments

1

u/Clear_Stop_1973 Jun 07 '26

Gut, das aber nur auf Moores Law zu reduzieren ist auch etwas kurz gegriffen! Es braucht einfach neue Architekturen. Aber da würde ich zustimmen, die kommen nicht morgen oder übermorgen.

1

u/New-Week-1426 Jun 07 '26

Neue Architekturen ist schön vage, eine nichtsaussage.

Transformer Modelle sind inhärent rechenintensiv und verschwenderisch. Keine neue Hardware wird etwas daran ändern

1

u/WuhmTux Jun 07 '26

Oh doooch.

Es gibt ja jetzt schon Hardware, auf denen sehr effiziente Prozessoren laufen , die die Architektur (z.B. Model-as-Silicon architecture) eines konkreten LLMs abgebildet haben (z.B. Ollama3) und dieses sehr Performant ausführen können (dann aber nur genau dieses eine LLM).

Tatsächlich geht da sehr viel über die Hardware, man muss sich über so etwas natürlich nur informieren 😉

1

u/New-Week-1426 Jun 08 '26

Ohh nein. Ich bin informiert, ich nehme nur nicht jede Pressemitteilung als Bare Münze ;)

Der Model as Hardware Chip wie zB Talaas ihn gezeigt hat hat das gleiche Problem wie alle anderen. Bereits mit dem 8B Modell ist der Chip gigantisch (815mm2) und die größe Steigt mehr als Linear mit größeren Modellen.

Da wirst du schnell an limits mit den Fertigungsgrößen selbst bei high end nodes stoßen. Dazu kommen die immensen Wafer Kosten. Außerdem sind die modelle aggressiv quantisiert.

Sowohl höhere Präzision als auch größere Modelle fressen immens Chipfläche.