Das „B“ in Bezeichnungen wie 7B oder 70B steht für Milliarden Parameter. Parameter sind gelernte Zahlenwerte des Modells. Mehr Parameter erhöhen die Modellkapazität, aber auch Speicher- und Rechenbedarf. Die Parameterzahl allein sagt nicht zuverlässig voraus, welches Modell bei einer konkreten Aufgabe besser ist.
Was ist ein Parameter?
Während des Trainings werden sehr viele numerische Werte angepasst. Diese Gewichte bilden zusammen das gelernte Verhalten des Modells. Ein 8B-Modell besitzt grob acht Milliarden solcher Parameter.
Warum die Parameterzahl den Speicher beeinflusst
Wenn jeder Parameter in 16 Bit gespeichert wird, benötigt er zwei Byte. Acht Milliarden Parameter entsprechen dann grob 16 GB nur für die Gewichte. Mit 8 Bit sinkt diese Größenordnung ungefähr auf die Hälfte, mit 4 Bit nochmals.
In der Praxis kommen Metadaten, Quantisierungs-Overhead, Runtime und KV-Cache hinzu. Deshalb ist die Modelldatei nicht identisch mit dem maximalen Laufzeitspeicher.
Mehr Parameter sind nicht automatisch besser
Training, Datenqualität, Architektur und Post-Training beeinflussen die Qualität mindestens ebenso stark. Ein modernes 8B-Modell kann bei bestimmten Aufgaben ein älteres oder weniger spezialisiertes 30B-Modell übertreffen.
Außerdem sind kleinere Modelle oft schneller und günstiger. Für lokale Anwendungen kann ein kleineres Modell daher praktisch die bessere Wahl sein, obwohl ein größeres Modell in Benchmarks höhere Spitzenwerte erreicht.
Besonderheit bei Mixture of Experts
Bei MoE-Modellen muss zwischen Gesamtparametern und aktiven Parametern pro Token unterschieden werden. Ein Modell kann sehr viele Gewichte speichern, während pro Token nur ein Teil davon berechnet wird. Das reduziert Rechenaufwand, aber nicht automatisch den Speicherbedarf für die gesamten Gewichte.
Was bedeutet das in der Praxis?
Open-Weight-Modelle sollten nie nur nach einem einzelnen Merkmal ausgewählt werden. Modellgröße, Architektur, Quantisierung, Lizenz, Kontext und Hardware greifen ineinander. Für eine konkrete Entscheidung sind eigene Testaufgaben deshalb wichtiger als eine einzelne Rangliste.
Mit dem Modellfinder kannst du passende Modelle zunächst nach Einsatz und Infrastruktur eingrenzen. Auf den Modellprofilen findest du anschließend Hardware-, Lizenz- und Quellenhinweise.
Primärquellen und Dokumentation
Häufige Fragen
Gilt diese Einordnung für alle Open-Weight-Modelle?
Die technischen Grundprinzipien sind allgemein, konkrete Details unterscheiden sich aber je nach Modellfamilie, Lizenz und Runtime. Maßgeblich sind deshalb immer die Primärquellen der jeweiligen Modellversion.
Wo finde ich konkrete Modelle?
Im Modellindex von OpenWeightModelle kannst du die dokumentierten Modelle nach Anbieter, Einsatzgebiet und Lizenz filtern.