Open-Weight-Modelle können auf Mac, Windows und Linux lokal laufen. Für Einsteiger sind Ollama oder Desktop-Oberflächen praktisch; llama.cpp bietet mehr Kontrolle, MLX ist auf Apple Silicon optimiert. Entscheidend sind Modellgröße, Quantisierung und verfügbarer RAM oder VRAM.
Mac mit Apple Silicon
M-Chips kombinieren CPU und GPU mit Unified Memory. Das macht Macs für lokale LLMs interessant, besonders wenn 24, 32, 64 GB oder mehr gemeinsamer Speicher vorhanden sind. MLX und llama.cpp-nahe Tools sind verbreitete Optionen.
Windows
Auf Windows sind NVIDIA-GPUs wegen ihres großen Software-Ökosystems besonders verbreitet. Lokale Inferenz funktioniert aber auch auf CPU oder anderen unterstützten Beschleunigern. Ollama, llama.cpp und verschiedene Desktop-UIs reduzieren die Einstiegshürde.
Linux
Linux ist besonders im Serverbereich verbreitet. CUDA, vLLM, Containerisierung und Automatisierung lassen sich hier gut kombinieren. Für reine Desktop-Inferenz kann Linux ebenso GGUF- und CPU/GPU-Runtimes verwenden.
Der einfachste Einstieg
Starte nicht mit dem größten Modell. Wähle zunächst ein 3B- bis 8B-Instruct-Modell, das sicher in den Speicher passt. Teste typische Aufgaben, erhöhe dann Modellgröße oder Kontext und beobachte Geschwindigkeit und Speicherverbrauch.
Wer vollständig offline arbeiten möchte, sollte zusätzlich prüfen, ob Oberfläche, Embeddings, Websuche oder Telemetrie externe Dienste verwenden.
Was bedeutet das in der Praxis?
Open-Weight-Modelle sollten nie nur nach einem einzelnen Merkmal ausgewählt werden. Modellgröße, Architektur, Quantisierung, Lizenz, Kontext und Hardware greifen ineinander. Für eine konkrete Entscheidung sind eigene Testaufgaben deshalb wichtiger als eine einzelne Rangliste.
Mit dem Modellfinder kannst du passende Modelle zunächst nach Einsatz und Infrastruktur eingrenzen. Auf den Modellprofilen findest du anschließend Hardware-, Lizenz- und Quellenhinweise.
Primärquellen und Dokumentation
Häufige Fragen
Gilt diese Einordnung für alle Open-Weight-Modelle?
Die technischen Grundprinzipien sind allgemein, konkrete Details unterscheiden sich aber je nach Modellfamilie, Lizenz und Runtime. Maßgeblich sind deshalb immer die Primärquellen der jeweiligen Modellversion.
Wo finde ich konkrete Modelle?
Im Modellindex von OpenWeightModelle kannst du die dokumentierten Modelle nach Anbieter, Einsatzgebiet und Lizenz filtern.