Lokale Modellbereitstellung

Ollama-GPU-Server

Private Ollama-Inferenz auf dedizierter Infrastruktur mit GPU-Unterstützung.

GPU-Bestand ansehen Mit einem Ingenieur sprechen

NVIDIA-GPU-OptionenDedizierte CPU und RAMNVMe-SSD-SpeicherUbuntu-fähige Bereitstellung

Was es ist

Ollama-GPU-Server, gehostet von Hosthink

Betreiben Sie Ollama auf einem privaten GPU-Server für lokale Inferenz, interne Assistenten und Modelltests, ohne Prompts an eine gemeinsam genutzte SaaS-Laufzeit zu senden.

Was es istPrivate Ollama-Inferenz auf dedizierter Infrastruktur mit GPU-Unterstützung.

Für wen es gedacht istInterne Copiloten · Private Chatbots · RAG-Prototypen · Offline-Inferenzlabore

Lokale ModellbereitstellungNVIDIA-GPU-Optionen · Dedizierte CPU und RAM · NVMe-SSD-Speicher · Ubuntu-fähige Bereitstellung · Privates Netzwerk verfügbar

Workflow-Ablauf

Einrichtungsablauf für Ollama-GPU-Server

Ein schneller Überblick über den Produktablauf, bevor Sie von der Seitenauswertung zu einem laufenden Hosthink-Dienst wechseln.

GPU-Eignung prüfen

Beginnen Sie mit der GPU-Serverfamilie, die zu Modell, Speicher und Workload-Profil passt.

Stack-Anforderungen bestätigen

Wählen Sie zwischen Ollama, DeepSeek, einem privaten LLM-Stack oder einer umfassenderen GPU-KI-Serverkonfiguration.

Übergabe vorbereiten

Hosthink hält den Einrichtungsweg übersichtlich, damit der Server in Ihren KI-Workflow eingebunden werden kann.

Mit wachsender Nutzung anpassen

Wechseln Sie zu einer größeren GPU- oder Stack-Konfiguration, wenn sich Modellgröße, Parallelität oder Speicherbedarf ändern.

Modellgröße → VRAM

Wie viel GPU-Speicher ein Modell braucht

VRAM ist der Speicher auf der GPU; der Arbeitsspeicher des Servers gehört zur CPU. Ollama führt ein Modell nur dann vollständig auf der GPU aus, wenn es in den VRAM passt; andernfalls wird ein Teil in den System-RAM geladen und von der CPU verarbeitet, was langsamer ist.

Scrollen Sie seitlich, um alle Spalten zu sehen.

Modellklasse	Ollama-Beispiele (4-Bit-Download Q4_K_M)	Einzuplanender VRAM
7–8B	llama3.1:8b · 4.9 GB qwen3:8b · 5.2 GB	8 GB+
12–14B	gemma3:12b · 8.2 GB qwen3:14b · 9.3 GB	16 GB+
27–32B	gemma3:27b · 17 GB qwen3:32b · 20 GB	24 GB (kurzer Kontext) · 32 GB+
70B	llama3.3:70b · 43 GB llama3.1:70b · 43 GB	48 GB (kurzer Kontext) · 80 GB+
235B MoE	qwen3:235b · 142 GB	160 GB+ (Multi-GPU)
405B	llama3.1:405b · 243 GB	256 GB+ (Multi-GPU)

ModellgewichteBei 4 Bit belegen die Gewichte etwa 0,5 GB pro Milliarde Parameter (Parameter × Bit ÷ 8). Q4_K_M-Downloads sind etwas größer, daher ist die Ollama-Downloadgröße der Ausgangspunkt.

Kontext und parallele AnfragenDer KV-Cache wächst mit der Kontextlänge und der Zahl paralleler Anfragen; laut Ollama skaliert der Speicherbedarf mit OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH. Der Standardkontext hängt vom VRAM ab (4k unter 24 GiB, 32k bei 24–48 GiB, 256k ab 48 GiB). Legen Sie die Kontextlänge bei der Dimensionierung daher ausdrücklich fest.

Wenn ein Modell nicht passtPasst ein Modell nicht auf eine GPU, verteilt Ollama es auf alle GPUs im Server und kann Schichten in den System-RAM auslagern; ollama ps zeigt die CPU/GPU-Aufteilung. Diese Werte sind Dimensionierungsschätzungen, keine gemessene Geschwindigkeit, Latenz oder Durchsatzleistung.

Hosthink-GPU-Katalog

Gelistete GPUs und passende Modellgrößen

Wird beim Erzeugen dieser Seite aus dem öffentlichen Hosthink-Serverkatalog gelesen; der Bestand ändert sich. Die Preise für Starter, Pro und Advanced sind unverbindliche Startpreise und reservieren keine bestimmte GPU: GPU-Modell, VRAM, Standort und endgültiger Monatspreis werden im Angebot anhand des aktuellen Bestands bestätigt.

Scrollen Sie seitlich, um alle Spalten zu sehen.

GPU	VRAM	Geeignet für (4 Bit)	Katalogstatus	Standorte
1× NVIDIA RTX A4000	16 GB	12–14B	Derzeit nicht verfügbar	Amsterdam
1× NVIDIA GeForce RTX 4090	24 GB	27–32B (kurzer Kontext)	Auf Lager	Moscow
1× NVIDIA RTX A5000	24 GB	27–32B (kurzer Kontext)	Auf Lager	Amsterdam
1× NVIDIA GeForce RTX 3090	24 GB	27–32B (kurzer Kontext)	Derzeit nicht verfügbar	Paris, Amsterdam, Moscow
1× AMD Radeon AI PRO R9700	32 GB	27–32B	Derzeit nicht verfügbar	Amsterdam
1× NVIDIA GeForce RTX 5090	32 GB	27–32B	Derzeit nicht verfügbar	Moscow
2× NVIDIA GeForce RTX 4090	2 × 24 GB = 48 GB	70B (kurzer Kontext)	Auf Lager	Moscow
2× AMD Radeon AI PRO R9700	2 × 32 GB = 64 GB	70B (kurzer Kontext)	Derzeit nicht verfügbar	Moscow
2× NVIDIA GeForce RTX 5090	2 × 32 GB = 64 GB	70B (kurzer Kontext)	Derzeit nicht verfügbar	Paris, Amsterdam
1× NVIDIA H100 80GB	80 GB	70B	Auf Lager	Dallas
4× NVIDIA GeForce RTX 4090	4 × 24 GB = 96 GB	70B	Auf Lager	Keflavik
3× AMD Radeon AI PRO R9700	3 × 32 GB = 96 GB	70B	Derzeit nicht verfügbar	Moscow
8× NVIDIA RTX PRO 6000 Blackwell Server Edition	8 × 96 GB = 768 GB	405B (Multi-GPU)	Derzeit nicht verfügbar	Tokyo, Amsterdam, Ashburn +8

11 weitere GPU-Angebote werden nicht angezeigt, weil ihre Katalogbezeichnung den GPU-Speicher nicht eindeutig angibt oder die GPU optional ist; deren VRAM wird im Angebot bestätigt.

HardwareEin Dedicated Server: GPUs, CPU, RAM und NVMe-Speicher aus Ihrem Angebot werden nicht mit anderen Kunden geteilt.

ZugriffSSH-Zugriff auf den Server; Sie entscheiden, welche Modelle Sie laden, ausführen und bereitstellen.

BetreuungsumfangWer Ollama, GPU-Treiber und Modelle installiert und aktualisiert und wer den Dienst überwacht, wird vor der Bereitstellung bestätigt.

GPU-Server, Preise und Bestand ansehen · Quellen, geprüft am 2026-10-30: Ollama context length, Ollama FAQ, Ollama hardware support, Ollama library.

Preise

Tarife Starter, Pro und Advanced

GPU-Bestand und endgültige Dimensionierung werden vor der Bereitstellung bestätigt. Betreuungsumfang wird vor der Bereitstellung bestätigt.

GPU Starter

Unverbindlicher Startpreis

$199/Monat

Einsteiger-GPU

Kleine ModelleGPU-Bestand und endgültige Dimensionierung werden vor der Bereitstellung bestätigtBetreuungsumfang wird vor der Bereitstellung bestätigt

GPU-Bestand ansehen

GPU Pro

Unverbindlicher Startpreis

$399/Monat

Mittelklasse-GPU

Inferenz für TeamsGPU-Bestand und endgültige Dimensionierung werden vor der Bereitstellung bestätigtBetreuungsumfang wird vor der Bereitstellung bestätigt

GPU-Bestand ansehen

GPU Advanced

Unverbindlicher Startpreis

$799/Monat

GPU mit viel VRAM

Größere ModelleGPU-Bestand und endgültige Dimensionierung werden vor der Bereitstellung bestätigtBetreuungsumfang wird vor der Bereitstellung bestätigt

GPU-Bestand ansehen

Anwendungsfälle

Unterstützte reale Workflows

Dies sind praktische Bereitstellungsmuster für Teams, die Ollama-GPU-Server in KI-, Automatisierungs-, internen Werkzeug- und Betriebs-Stacks verwenden.

Interne Copiloten

Private Chatbots

RAG-Prototypen

Offline-Inferenzlabore

Funktionen

Privater Inferenz-Endpunkt

GPU-Beschleunigung

Modellbibliothek-Workflow

SSH-Zugang

Dedizierte Hardwareoptionen

Keine mandantenübergreifende Laufzeit

Technische Daten

Produktionsgrundlage

NVIDIA-GPU-Optionen

Dedizierte CPU und RAM

NVMe-SSD-Speicher

Ubuntu-fähige Bereitstellung

Privates Netzwerk verfügbar

GPU-Bestand und endgültige Dimensionierung werden vor der Bereitstellung bestätigt

Betreuungsumfang wird vor der Bereitstellung bestätigt

GPU und CPU im Vergleich

GPUs verändern KI-Workloads

Reine CPU-Inferenz kann für sehr kleine Modelle und Hintergrundaufgaben ausreichen. Interaktive Assistenten, Retrieval-Workflows und größere lokale Modelle benötigen jedoch parallele Beschleunigung für eine brauchbare Nutzererfahrung.

Geringere Antwortlatenz

GPU-Beschleunigung hilft, Wartezeiten bei Chat-, Code- und Agentenschleifen zu verringern, in denen jeder Generierungsschritt zählt.

Mehr Spielraum für größere Modelle

VRAM bestimmt, wie gut quantisierte und vollständige Modelle mit sinnvollen Kontextfenstern laufen können.

Höhere Parallelität

Teams mit mehreren Nutzern benötigen planbaren Durchsatz statt eines einzelnen workstationartigen Prozesses.

Kontrolle über die private Bereitstellung

Sie wählen Modell, Laufzeit, Netzwerkerreichbarkeit und Aktualisierungsrhythmus, statt von einer externen KI-Plattform abhängig zu sein.

Empfohlene Workloads

Dimensionieren Sie den Server nach dem Modell, nicht nach der Schlagzeile

Kleine lokale Modelle

7B-13B

Einsteiger-GPU / quantisiert

Prototypen interner AssistentenPrompt-Tests und leichtes RAGNutzung durch ein einzelnes Team

Produktive Inferenz

30B-70B

Viel VRAM empfohlen

WissensassistentenAgenten-Backends und API-BereitstellungMehr Parallelität und Kontext

Fortgeschrittene KI-Stacks

Multi-GPU

Mit Ingenieuren dimensioniert

Große private LLM-BereitstellungenMehrere Modell-EndpunkteIsolationsanforderungen für Unternehmen

Empfohlene Stacks

GPU-Infrastruktur mit gehosteten KI-Werkzeugen kombinieren

Private KI-Server übernehmen die Inferenz. Gehostete Apps können die Benutzeroberfläche, den Workflow-Editor oder die interne Datenschicht darum herum bereitstellen.

OpenClaw mit 1 Klick

Ein selbst gehosteter KI-Assistent, verbunden mit Ihren Messaging-Kanälen und Tools.

Ansehen

Uptime Kuma mit 1 Klick

Verfügbarkeitsprüfungen, Alarme und Statusseiten.

Ansehen

n8n mit 1 Klick

Workflow-Automatisierung, Webhooks und API-Integrationen.

Ansehen

FAQ

Häufige Fragen

Bleiben Modelldaten privat?

Ja. Der Server ist Ihrem Dienst exklusiv zugeordnet, und der Modellverkehr bleibt innerhalb Ihrer Bereitstellung.

Kann ich die GPU-Kapazität wählen?

Ja. Die GPU-Auswahl hängt vom aktuellen Bestand und den Modellanforderungen ab.

Wie viel VRAM braucht ein Ollama-Modell?

Gehen Sie von der 4-Bit-Downloadgröße in der Ollama-Bibliothek aus und planen Sie Reserve für Kontext und Laufzeit ein: etwa 5 GB für 8B-Modelle, 9 GB für 14B, 20 GB für 32B und 43 GB für 70B (Q4_K_M). Längerer Kontext und parallele Anfragen benötigen zusätzlich mehr VRAM.

Brauche ich für jeden KI-Workload eine GPU?

Nicht immer. Gehostete Apps können externe Modell-APIs nutzen, während private lokale Inferenz meist von einer GPU profitiert.

Können Sie den Server dimensionieren?

Ja. Wir berücksichtigen Modellfamilie, VRAM, Parallelität und Speicheranforderungen.

Ist dies dasselbe wie eine Public-Cloud-GPU?

Nein. Diese Seiten beschreiben dedizierte oder private GPU-Server-Bereitstellungen, keinen gemeinsam genutzten SaaS-Modell-Endpunkt.

Ist Server-RAM dasselbe wie GPU-VRAM?

Nein. VRAM ist der Speicher auf der GPU, der Server-RAM gehört zur CPU. Passt ein Modell nicht in den VRAM, können Laufzeiten wie Ollama einen Teil in den System-RAM laden, was langsamer ist. Dimensionieren Sie die GPU daher nach dem Modell.

Reserviert der unverbindliche Preis eine bestimmte GPU?

Nein. Die Preise für Starter, Pro und Advanced sind unverbindliche Startpreise. GPU-Modell, VRAM, Standort und endgültiger Monatspreis werden im Angebot anhand des aktuellen Bestands bestätigt.

Private KI-Server

Ollama-GPU-Server mit Hosthink bereitstellen

Behalten Sie das Hosthink-Design sowie die Abrechnungs- und Supportabläufe bei, während Sie Ihren Infrastruktur-Stack um KI- und App-Workloads erweitern.

GPU-Bestand ansehen