LiteLLM und Souveränität: ein souveränes Gateway für deinen LLM-Verkehr
LiteLLM ist ein quelloffenes LLM-Gateway und stellt eine einheitliche API über mehrere Anbieter bereit. Jeder Aufruf, der durch LiteLLM läuft, trägt Metadaten: welche Modelle du nutzt, wie oft, wie dein Tokenverbrauch aussieht und je nach Konfiguration auch die Prompts selbst.
Läuft dieses Gateway auf US-Infrastruktur, unterstehen sämtliche Routing-Entscheide, Nutzungsauswertungen und API-Schlüssel dem US-Recht und sind über den CLOUD Act ohne Schweizer Gerichtsverfahren zugänglich. LiteLLM auf Schweizer Infrastruktur nach Schweizer Recht zu betreiben hält Routing- und Nutzungsdaten souverän.
Souveränität ist mehr als die Frage, wo das Gateway läuft: das EU Cloud Sovereignty Framework beschreibt acht Dimensionen, die zusammen entscheiden, ob ein Anbieter tatsächlich souverän ist.
Warum LiteLLM für souveränes KI-Routing eine gute Wahl ist
Anders als proprietäre Plattformen für API-Management bietet dir LiteLLM:
- Keine Anbieterbindung: über eine einzige API zwischen LLM-Anbietern wechseln (OpenAI, Anthropic, Mistral, lokale Modelle)
- Vollständige Prüfbarkeit des Codes: LiteLLM ist quelloffen, jeder Routing-Entscheid ist einsehbar
- Nutzungsdaten bleiben lokal: Tokenzahlen, Muster der Modellwahl und Kostendaten bleiben auf deiner Infrastruktur
- Isolierte API-Schlüssel: die Schlüssel deiner Anbieter liegen dort, wo du sie kontrollierst, und nicht in einem SaaS von Dritten
- Governance durch die Community: ein aktives quelloffenes Projekt, nicht abhängig von der Roadmap eines einzelnen Anbieters
VSHN betreibt LiteLLM auf Schweizer Kubernetes-Clustern. Zusammen mit Schweizer Eigentümerschaft und Schweizer Betrieb ergibt das ein durchgängig souveränes KI-Gateway.
Souveränität im Vergleich
| Dimension | Proprietäre API-Gateways (US-SaaS) | Eigenbetrieb auf US-Cloud | VSHN Managed LiteLLM |
|---|---|---|---|
| Eigentümer | verschiedene US-Firmen | der Kunde (auf US-Infrastruktur) | VSHN AG (Schweiz) |
| Anwendbares Recht | US-Recht | US-Recht (über den Cloud-Anbieter) | Schweizer Recht |
| CLOUD Act | Betroffen | Betroffen (über den Cloud-Anbieter) | Nicht betroffen |
| Datenstandort | USA | hängt von der Region ab (unter US-Kontrolle) | Schweiz (Cloudscale, Exoscale oder nach deiner Wahl) |
| Gateway-Software | proprietär | quelloffen (selbst betrieben) | quelloffen (LiteLLM, von VSHN betrieben) |
| Zugriff auf Nutzungsdaten | der Anbieter hat Zugriff | der Cloud-Anbieter hat Zugriff auf die Infrastruktur | VSHN hat betrieblichen Zugriff nur für autorisierten Support, nie fürs Modelltraining |
| Zugriff durch Personal im Ausland | Je nach Anbieter | das Team des Kunden | VSHN Canada für nächtlich geplante Arbeiten; keiner mit der Option Schweiz-only |
| Zertifizierungen | unterschiedlich | hängt vom Cloud-Anbieter ab | ISO 27001, ISAE 3402 Type II |
Souveränitäts-Selbstbewertung von VSHN
Wir haben das Cloud Sovereignty Framework der EU (v1.2.1, Oktober 2025) auf unsere eigenen Dienste angewendet. Nach diesem Rahmenwerk wurden im April 2026 die Anbieter in der EU-Ausschreibung für souveräne Cloud über EUR 180 Mio. bewertet. Drei rein europäische Anbieter erreichten SEAL-3, ein Konsortium unter Beteiligung von Google Cloud kam auf SEAL-2.
Das ist eine Selbstbewertung und keine formelle SEAL-Zertifizierung. Wir veröffentlichen sie, damit Kunden unser Souveränitätsprofil anhand derselben strukturierten Kriterien beurteilen können, die auch die EU anlegt.
| # | Dimension | Gewicht | Bewertung | Belege |
|---|---|---|---|---|
| SOV-1 | Strategisch | 15% | Stark | Schweizer AG, keine ausländische Muttergesellschaft, alle Aktionäre Schweizer Staatsangehörige (Handelsregister) |
| SOV-2 | Rechtlich | 10% | Stark | Schweizer Recht (AGB), kein CLOUD Act, Angemessenheitsbeschluss der EU |
| SOV-3 | Daten und KI | 10% | Stark | Schweizer Rechenzentren als Standard. Souveräne Schlüsselverwaltung über Managed OpenBao und Schweizer HSM |
| SOV-4 | Betrieblich | 15% | Stark | Betrieb rund um die Uhr aus der Schweiz, Option Schweiz-only. Alle Dienste auf unverändertem Kubernetes |
| SOV-5 | Lieferkette | 20% | Stark | Infrastrukturunabhängig, der Kunde wählt den Anbieter. Quelloffene Software |
| SOV-6 | Technologie | 15% | Stark | 100 Prozent quelloffen. VSHN trägt zu K8up (CNCF Sandbox) bei und pflegt Project Syn |
| SOV-7 | Sicherheit | 10% | Stark | ISO 27001, ISAE 3402 Type II, Schweizer SOC. FINMA-regulierte Kunden |
| SOV-8 | Umwelt | 5% | Mittel | Rechenzentrumsbetreiber: Green Datacenter AG (ISO 22301/27001/27701), Nachhaltigkeit bei Exoscale. CSR-Politik von VSHN |
Gesamt: entspricht SEAL-3, derselben Stufe wie die Gewinner der EU-Ausschreibung. Kein Bieter in der EU-Ausschreibung erreichte SEAL-4: Dafür braucht es vollständige EU-Kontrolle ohne kritische Abhängigkeiten ausserhalb der EU, und jeder Cloud-Anbieter hängt von Hardware aus Asien und den USA ab und von Open-Source-Projekten, die US-Stiftungen wie die Linux Foundation und die CNCF tragen.
Schweizer Infrastruktur ausprobieren: APPUiO (verwaltetes Kubernetes, kostenlos testen), Exoscale (Schweizer IaaS). Unsicher, was passt? Melde dich.
Souveränitätsbewertung für dein KI-Gateway
Leitest du LLM-Verkehr heute über Dienste in den USA oder prüfst du souveräne Alternativen? Wir bewerten dein aktuelles Setup nach dem EU-Rahmenwerk und entwerfen eine LiteLLM-Installation, die Routing-Daten, API-Schlüssel und Nutzungsauswertungen unter Schweizer Zuständigkeit hält.