Weg 1: vollständig auf eigener Infrastruktur
Die Modelle laufen auf Ihrer eigenen Hardware. Texte, Bilder, Spracherkennung und Vektordarstellungen — nichts davon verlässt Ihr Netzwerk, und der Betrieb hängt von keiner Verbindung zu einem externen Anbieter ab.
Das ist kein theoretischer Aufbau: Ich betreibe eine solche Umgebung selbst im Dauerbetrieb, mit lokalem Modellbetrieb über vLLM und llama.cpp, einer Verteilung auf mehrere Modelle und vollständig lokaler Medienerzeugung ohne externe Schnittstelle.
Auch wirtschaftlich ist das interessant: Nach der Anschaffung verursacht jede zusätzliche Anfrage praktisch keine Kosten. Bei hohem Volumen rechnet sich eigene Hardware daher besonders schnell.
Weg 2: EU-Datenzone
Wo eigene Hardware nicht sinnvoll ist, kann die Verarbeitung dennoch in Europa bleiben. In der EU-Datenzone von Azure AI Foundry verarbeitet Microsoft Eingaben und Antworten innerhalb seiner EU-Datengrenze.
Unternehmensinhalte werden dabei nicht zum Training der Modelle verwendet. Für den Datenschutzbeauftragten gibt es damit eine dokumentierte Antwort statt einer Vermutung.
Welcher Weg passt
Das entscheidet sich anhand von drei Fragen: Wie sensibel sind die Daten? Wie hoch ist das erwartete Volumen? Und gibt es intern jemanden, der die Hardware betreiben möchte?
Häufig ist eine Kombination sinnvoll — sensible Dokumentenverarbeitung auf eigener Infrastruktur, allgemeine Assistenz in der EU-Datenzone. Diese Aufteilung erarbeiten wir vor der ersten Investition.
Was Sie bekommen
- Vergleich von eigener Infrastruktur und EU-Datenzone einschließlich Kostenrechnung
- Aufbau und Inbetriebnahme des lokalen Modellbetriebs
- Anfrageverteilung auf mehrere Modelle, damit Sie nicht an ein Modell gebunden sind
- Dokumentation für Datenschutz und Revision
- Übergabe an Ihr Team oder laufende Betreuung
Häufige Fragen
Welche Hardware brauchen wir für On-Premise-KI?
Deutlich weniger als meist angenommen. Für die häufigen Fälle — Dokumentenverarbeitung, interne Assistenz, Klassifikation — genügt ein einzelner Server mit aktueller GPU. Die Auslegung ergibt sich aus Modellgröße und gleichzeitigen Nutzern und gehört in die Entscheidungsgrundlage.
Sind lokale Modelle nicht deutlich schlechter?
Für allgemeine Aufgaben liegen die großen kommerziellen Modelle weiter vorn. Für abgegrenzte Unternehmensaufgaben mit klarer Struktur ist der Unterschied in der Praxis oft kleiner als erwartet — und wird durch Datenhoheit und Kostenstruktur aufgewogen.
Ist das DSGVO-konform?
Der Betrieb auf eigener Infrastruktur ist der einfachste Fall, weil keine personenbezogenen Daten das Unternehmen verlassen. In der EU-Datenzone erfolgt die Verarbeitung innerhalb der EU-Datengrenze. Die rechtliche Bewertung im Einzelfall bleibt Aufgabe Ihres Datenschutzbeauftragten; von mir erhält er dafür die technische Grundlage.
Weitere Leistungen