Safetensors ist ein sicheres, schnelles Tensorformat, das häufig im Transformers-Ökosystem verwendet wird. GGUF stammt aus dem llama.cpp-Umfeld und bündelt Gewichte und Metadaten für lokale Inferenz; besonders verbreitet sind quantisierte GGUF-Dateien. Das passende Format hängt von Runtime und Deployment ab.
Safetensors
Safetensors wurde als sichere Alternative zu pickle-basierten Gewichtsdateien entwickelt. Beim Laden ist keine beliebige Python-Codeausführung notwendig. Viele Anbieter veröffentlichen ihre Original- oder Fine-Tuning-Gewichte deshalb in .safetensors.
Das Format passt besonders gut zu Python-, Transformers-, Training- und Server-Workflows.
GGUF
GGUF ist eng mit llama.cpp verbunden. Eine GGUF-Datei kann quantisierte Tensoren und umfangreiche Metadaten enthalten. Dadurch eignet sie sich sehr gut für lokale Distribution und Runtimes, die das GGUF-Ökosystem unterstützen.
Typische Downloads heißen beispielsweise Q4_K_M oder Q8_0. Das sind Quantisierungsvarianten innerhalb des GGUF-Formats.
Konvertierung
Für unterstützte Modellarchitekturen lassen sich Hugging-Face-Modelle in GGUF konvertieren. Eine Konvertierung ändert aber weder die ursprüngliche Lizenz noch die zugrunde liegenden Modellfähigkeiten.
Welches Format sollte ich wählen?
Wer mit llama.cpp oder einer GGUF-basierten Desktop-Anwendung arbeitet, wählt meist GGUF. Für Transformers, Fine-Tuning oder vLLM sind Safetensors häufig die natürliche Ausgangsbasis.
Was bedeutet das in der Praxis?
Open-Weight-Modelle sollten nie nur nach einem einzelnen Merkmal ausgewählt werden. Modellgröße, Architektur, Quantisierung, Lizenz, Kontext und Hardware greifen ineinander. Für eine konkrete Entscheidung sind eigene Testaufgaben deshalb wichtiger als eine einzelne Rangliste.
Mit dem Modellfinder kannst du passende Modelle zunächst nach Einsatz und Infrastruktur eingrenzen. Auf den Modellprofilen findest du anschließend Hardware-, Lizenz- und Quellenhinweise.
Primärquellen und Dokumentation
Häufige Fragen
Gilt diese Einordnung für alle Open-Weight-Modelle?
Die technischen Grundprinzipien sind allgemein, konkrete Details unterscheiden sich aber je nach Modellfamilie, Lizenz und Runtime. Maßgeblich sind deshalb immer die Primärquellen der jeweiligen Modellversion.
Wo finde ich konkrete Modelle?
Im Modellindex von OpenWeightModelle kannst du die dokumentierten Modelle nach Anbieter, Einsatzgebiet und Lizenz filtern.