AI-Inferenz-Hosting
Antwort
Selbst gehostete KI-Inferenz bedeutet, Open-Weight-Modelle auf gemieteter GPU-Hardware auszuführen, statt eine gehostete API aufzurufen. Incognito VPS bietet RTX 4090-, RTX 5090-, A100- und H100-Server mit vorinstalliertem CUDA 13 und PyTorch, unbegrenztem Transfer und ohne Protokollierung dessen, was Sie ausführen.
| Szenario | Minimum |
|---|---|
| 7–8B, 4-Bit | 1 × RTX 4090 (24 GB) |
| 13–14B, 8-Bit | 1 × RTX 5090 (32 GB) |
| 32–34B, 4-Bit | 1 × RTX 5090 (32 GB) |
| 70B, 4-Bit | 1 × H100 (80 GB) |
| 70B volle Präzision | 4 × H100 (320 GB) |
Wann sich Selbsthosting gegenüber einer API lohnt
Gehostete APIs sind pro Token billiger, bis sie es nicht mehr sind. Der Wendepunkt liegt etwa bei kontinuierlicher Nutzung: wenn eine GPU die meiste Zeit des Tages ausgelastet ist, kostet eine monatliche Miete weniger als die entsprechende API-Ausgabe, und die Lücke wird mit steigendem Volumen größer.
Die anderen Gründe sind struktureller Natur, nicht wirtschaftlich. Ihre Prompts verlassen nicht Ihren Server. Es gibt keine Inhaltsrichtlinie, die auf Ihre Anfragen angewendet wird. Es gibt kein Rate-Limit, keine Einstellung des Modells, für das Sie entwickelt haben, und keinen Anbieter, der entscheidet, dass Ihr Anwendungsfall nicht mehr willkommen ist. Für manche Arbeiten zählen diese mehr als der Preis.
VRAM ist anfangs die einzige Spezifikation, die zählt
Die Modellgröße in Parametern multipliziert mit Bytes pro Parameter ergibt das Minimum, und darüber hinaus brauchen Sie Puffer für den KV-Cache, der mit Kontextlänge und Batch-Größe wächst. Ein 4-Bit-quantisertes 7B-Modell hat etwa 4 GB; ein 4-Bit-70B etwa 40 GB.
Die praktische Zuordnung: 24 GB reichen für 7B bis 13B bequem. 32 GB erreichen 32B bei 4-Bit. 80 GB laufen 70B bei 4-Bit mit großzügigem Kontext. Darüber hinaus brauchen Sie mehrere Karten und Tensor-Parallelismus.
Der Software-Stack
vLLM ist die richtige Standardwahl zum Serving – Continuous Batching und PagedAttention verschaffen ihm einen großen Durchsatzvorteil gegenüber naiven Implementierungen, und es spricht das OpenAI-API-Format, sodass der meiste Client-Code unverändert funktioniert. Ollama ist einfacher, wenn Sie experimentieren und keinen Durchsatz benötigen. TGI und SGLang sind beide einen Blick wert für spezifische Workloads.
Alle sind auf unseren Images einen Befehl entfernt, die bereits mit CUDA 13, cuDNN 9 und PyTorch 2.6 installiert sind.
Häufig gestellte Fragen
01 Welche GPU für ein 70B-Modell?
Eine einzelne H100 mit 80 GB läuft 70B in 4-Bit-Quantisierung mit großzügigem Kontext. Volle Präzision benötigt etwa 140 GB, also vier H100 hinter NVLink.
02 Protokollieren Sie, was ich ausführe?
Nein. Es gibt keine Überprüfung von GPU-Workloads, keine Prompt-Protokollierung und keine Inhaltsrichtlinie, die auf Berechnungen angewendet wird. Unsere AUP regelt, was Sie vom Server aus verbreiten, nicht, was Sie darauf berechnen.
03 Wird die GPU mit anderen Kunden geteilt?
Nein. Die physische Karte ist durchgereicht und für die Laufzeit Ihrer VM dediziert – kein Time-Slicing, keine MIG-Partitionierung, volle VRAM- und volle Durchsatzleistung.
04 Kann ich feinabstimmen, nicht nur inferieren?
Ja. Das LoRA-Feintuning eines 7B-Modells passt bequem auf eine 4090. Volles Feintuning größerer Modelle möchte eine A100 oder H100. Unbegrenzter Transfer bedeutet, dass das Verschieben von Datensätzen und Checkpoints nichts kostet.
Verwandte Themen