Dieser Prototyp vergleicht monatliche Vollkosten eines eigenen GPU-Servers mit den Tokenpreisen einer API. Alle Hardwarepreise und Stromverbräuche sind Planungsannahmen. Die Quellen und Messbedingungen finden Sie direkt im Rechner.

Die veröffentlichten Durchsatzwerte wurden mit unterschiedlichen Lasten, Kontextlängen und Cache-Raten gemessen. Sie sind nur illustrative Startwerte für die Server-Sprungstellen: Weder der 4:1-Mix noch Ihre Qualitäts- und Antwortzeitanforderungen sind damit validiert. Testen Sie Ihr eigenes Lastprofil, bevor Sie daraus eine Kaufentscheidung ableiten.
Regler und Zahlenfeld reichen von 1.000 bis 100 Millionen Tokens pro Stunde; der Regler ist logarithmisch.
Konfiguration

Änderungen gelten nur für dieses Szenario. Modellwechsel übernehmen die Hardware- und API-Standardwerte der neuen Auswahl.

Monatsvolumen–
Benötigte Server–
API pro Monat–
Eigenbetrieb pro Monat–

Monatliche Kosten bei steigender Last

Die horizontale Achse ist logarithmisch. Jede Stufe fügt einen Server samt Einrichtung und laufenden Kosten hinzu. Die markierte Last entspricht dem Regler.

Grenzen dieser Rechnung

Gleiche Tokenmengen bedeuten weder gleiche Ergebnisqualität noch gleiche Aufgabenkosten. Tokenizer, Reasoning, Wiederholungen, Kontextlängen und Antwortzeit verändern den Vergleich. Insbesondere belegt ein veröffentlichter Maximaldurchsatz keine dauerhaft nutzbare Produktionskapazität.

API-Cache-Treffer reduzieren hier nur den verrechneten Inputpreis. Zusätzliche Cache-Schreib- und Speicherkosten, Tools, Steuern, Rabatte und Miet-GPUs fehlen. Ein Cache- oder Mix-Wechsel passt die lokale Durchsatzannahme nicht automatisch an.

Stromaufnahme, Hardwarepreise und Betriebskosten sind Szenarioannahmen; PUE berücksichtigt Kühlung und Stromverluste. Mehrere Server bedeuten nur mit zusätzlicher Reserve Ausfallsicherheit. Prüfen Sie Modelllizenzen und testen Sie Qualität, Lastspitzen und Latenz vor dem Produktivbetrieb.

Zum Artikel „Die Kosten lokaler KI“