Skalierungsgesetze beschreiben, wie KI-Modelle vorhersehbar besser werden, wenn man Modellgröße, Daten und Rechenleistung erhöht.
Beispiel
Forscher schätzen vor einem teuren Training ab, wie gut ein zehnmal größeres Modell ungefähr werden wird.
Für Profis
Studien von 2020 und 2022 („Chinchilla“) zeigten, dass der Fehler grob einem Potenzgesetz folgt und Parameter und Trainingsdaten im richtigen Verhältnis wachsen sollten. Es sind empirische Beobachtungen, keine Naturgesetze. Neuere Ansätze skalieren zusätzlich die Rechenzeit bei der Antwort (Test-Time Compute).
