Vergleich

KI im eigenen Haus betreiben: on-premise, eigener Server oder Cloud im Vergleich

UNID AI Redaktion ·

KI kann im Unternehmen auf drei Arten betrieben werden: als Cloud-Dienst eines Anbieters, auf einem eigenen Server in einem Rechenzentrum oder vollständig on-premise in der eigenen Infrastruktur. Welche Variante passt, hängt vor allem davon ab, wie sensibel die Daten sind, welche Modellqualität die Aufgabe braucht und wer den Betrieb übernehmen kann.

Dieser Vergleich beschreibt die drei Varianten, stellt sie in einer Tabelle gegenüber und gibt eine Empfehlung, wann welche sinnvoll ist.

Was unterscheidet die drei Betriebsformen?

Cloud-Dienst. Das Unternehmen nutzt ein KI-Modell über die Schnittstelle oder Anwendung eines Anbieters. Rechenleistung, Modell und Wartung liegen beim Anbieter. Die Daten, die an das Modell gehen, werden auf dessen Infrastruktur verarbeitet. Viele Anbieter bieten dafür Verarbeitung in EU-Rechenzentren und Verträge zur Auftragsverarbeitung an.

Eigener Server im Rechenzentrum. Die KI-Anwendung läuft auf einem Server, der dem Unternehmen allein zugeordnet ist, bei einem Rechenzentrumsbetreiber, etwa in Österreich oder in der EU. Das Unternehmen bestimmt, welche Software und welche Daten dort liegen. Der Betreiber stellt Strom, Kühlung, Netzwerk und physische Sicherheit.

On-premise. Die KI-Anwendung läuft auf Hardware im eigenen Haus oder im eigenen Rechenzentrum, auf Wunsch ohne Verbindung zum Internet („air-gapped“). Das Unternehmen hat die volle Kontrolle und trägt die volle Verantwortung für Betrieb, Updates und Sicherheit.

Wie schneiden die Varianten im direkten Vergleich ab?

Die folgende Tabelle vergleicht die drei Betriebsformen nach Kriterien, die für IT- und Datenschutzverantwortliche zentral sind.

Kriterium Cloud-Dienst Eigener Server im Rechenzentrum On-premise
Wo werden die Daten verarbeitet? Beim Anbieter Auf dem eigenen Server beim Betreiber Im eigenen Haus
Verfügbare Sprachmodelle Auch die leistungsfähigsten kommerziellen Modelle Offene Modelle lokal; kommerzielle Modelle per Schnittstelle möglich Offene Modelle, die sich lokal betreiben lassen
Startaufwand Gering Mittel Hoch (Hardware, Einrichtung)
Kostenstruktur Laufend, nach Nutzung Laufende Miete, planbar Investition in Hardware plus eigener Betrieb
Betrieb und Updates Anbieter Geteilt zwischen Unternehmen, Betreiber und Dienstleister Unternehmen oder beauftragter Dienstleister
Skalierung bei Lastspitzen Einfach Begrenzt durch gebuchte Hardware Begrenzt durch vorhandene Hardware
Abhängigkeit vom Anbieter Hoch Mittel Gering
DSGVO-Aufwand Auftragsverarbeitung, ggf. Drittlandübermittlung prüfen Auftragsverarbeitung mit dem Betreiber Interne Maßnahmen nach Art. 32 DSGVO

Keine der Varianten ist grundsätzlich die beste. Die Cloud bietet die stärksten Modelle mit dem geringsten Aufwand, on-premise die größte Kontrolle mit dem größten Aufwand, und der eigene Server liegt dazwischen.

Wann ist welche Variante sinnvoll?

Cloud-Dienst ist sinnvoll, wenn die Aufgabe die bestmögliche Sprachqualität braucht, die verarbeiteten Daten nicht besonders sensibel sind oder sich auf die nötigen Ausschnitte begrenzen lassen, und wenn kein eigenes Betriebsteam vorhanden ist.

Eigener Server ist sinnvoll, wenn Daten und Index dauerhaft unter eigener Kontrolle liegen sollen, das Unternehmen aber kein eigenes Rechenzentrum betreiben will. Diese Variante eignet sich gut als Kombination: Archiv, Suchindex und Datensätze liegen auf dem eigenen Server, und nur einzelne Textstellen gehen für eine Antwort an ein Cloud-Sprachmodell.

On-premise ist sinnvoll, wenn Daten das Haus aus rechtlichen, vertraglichen oder regulatorischen Gründen nicht verlassen dürfen, etwa bei Versicherungs-, Bank- oder Gesundheitsdaten, oder wenn Systeme ohne Internetverbindung laufen müssen. Der Preis sind Hardware, Betriebsaufwand und eine Modellauswahl, die auf lokal lauffähige Modelle beschränkt ist.

Was bedeutet eigener Betrieb in der Praxis?

Wer KI selbst betreibt, übernimmt Aufgaben, die bei einem Cloud-Dienst unsichtbar bleiben. Das betrifft vor allem vier Bereiche.

  • Hardware: Sprachmodelle brauchen für eine zügige Antwort in der Regel Grafikprozessoren (GPUs) mit ausreichend Speicher. Wie viel, hängt von der Modellgröße und der Zahl gleichzeitiger Nutzer ab. Prognosemodelle auf Tabellendaten haben andere Anforderungen als Sprachmodelle und sollten gesondert betrachtet werden.
  • Updates: Modelle, Bibliotheken und Betriebssystem müssen regelmäßig aktualisiert werden, auch aus Sicherheitsgründen. In einer Umgebung ohne Internetverbindung braucht es dafür einen geregelten Einspielweg.
  • Überwachung: Jemand muss erkennen, wenn ein Dienst ausfällt, langsamer wird oder ungewöhnliche Zugriffe zeigt.
  • Zugriff und Protokoll: Anmeldung, Rechte und Protokollierung müssen in die bestehende IT-Landschaft eingebunden werden.

Diese Aufgaben kann ein Dienstleister übernehmen. Wichtig ist, dass vor dem Start schriftlich feststeht, wer wofür verantwortlich ist.

Warum ist die Kombination oft die beste Lösung?

In der Praxis bestehen KI-Anwendungen aus mehreren Teilen, und nicht jeder Teil braucht dieselbe Betriebsform.

Ein Beispiel ist die Prognose auf Unternehmensdaten. Bei UNID AI Predict entstehen die Zahlen aus den Daten und dem Prognosemodell, nicht aus einem Sprachmodell. Das Sprachmodell formuliert nur die Ergebnisse. Deshalb kann der rechenintensive und datensensible Teil, also Datenbank und Prognosemodell, auf der Infrastruktur des Kunden laufen, auf Wunsch zusammen mit einem lokalen Sprachmodell. Wie das bei einer Versicherung aussieht, beschreibt unser Beitrag zur Storno-Frühwarnung.

Ein zweites Beispiel ist die Suche im Dokumentenarchiv. Bei UNID AI Second Brain bleiben Archiv, Index und Datensätze auf einem kontrollierten Server. An den KI-Assistenten gehen nur die Textstellen, die eine Antwort braucht. Das ist eine bewusste Abwägung: Die Mitarbeiter arbeiten mit einem leistungsfähigen Assistenten, und die Menge der Daten, die an den Anbieter gehen, bleibt begrenzt. Details stehen auf der Produktseite zu Second Brain.

Welche Rolle spielen DSGVO und EU AI Act?

Die DSGVO gilt unabhängig von der Betriebsform, sobald personenbezogene Daten verarbeitet werden. Bei Cloud-Diensten und externen Rechenzentren ist ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO nötig, bei Übermittlungen in Drittländer gelten zusätzlich die Art. 44 ff. In allen Varianten verlangt Art. 32 angemessene technische und organisatorische Sicherheitsmaßnahmen. Für Österreich ist die Datenschutzbehörde die zuständige Aufsichtsbehörde.

Die KI-Verordnung, Verordnung (EU) 2024/1689, knüpft dagegen am Zweck eines Systems und an der Rolle des Unternehmens an, nicht am Standort des Servers. Ein Hochrisiko-System bleibt ein Hochrisiko-System, auch wenn es on-premise läuft. Für Fragen zur Einordnung bietet die KI-Servicestelle der RTR in Österreich Informationen an. Mehr zu unserem Vorgehen finden Sie auf der Seite Sicherheit und Datenschutz.

Welche Fragen sollten Sie vor der Entscheidung klären?

Diese Checkliste hilft, die passende Betriebsform zu finden:

  1. Welche Daten verarbeitet die Anwendung, und enthalten sie personenbezogene oder vertraulich eingestufte Informationen?
  2. Gibt es vertragliche oder regulatorische Vorgaben, die eine Verarbeitung außer Haus ausschließen?
  3. Welche Sprachqualität braucht die Aufgabe wirklich? Testen Sie lokale und Cloud-Modelle mit eigenen Beispielen.
  4. Welche Teile der Anwendung brauchen ein Sprachmodell, und welche nicht?
  5. Wer betreibt, aktualisiert und überwacht die Systeme im laufenden Betrieb?
  6. Welche Hardware ist vorhanden, und welche Investition ist vertretbar?
  7. Wie wichtig ist es, den Anbieter später wechseln zu können?

Wie unterstützt UNID AI bei der Wahl?

UNID AI Predict kann auf der Infrastruktur des Kunden betrieben werden, auf Wunsch mit einem lokalen Sprachmodell. Die Produktseite zu UNID AI Predict beschreibt die Möglichkeiten, das Glossar erklärt Begriffe wie On-Premise-KI. Wenn Sie die passende Betriebsform für Ihr Vorhaben besprechen möchten, nehmen Sie Kontakt mit uns auf.

Quellen

  1. Verordnung (EU) 2016/679 (DSGVO) – EUR-Lex
  2. Verordnung (EU) 2024/1689 (KI-Verordnung, EU AI Act) – EUR-Lex
  3. Österreichische Datenschutzbehörde
  4. RTR – KI-Servicestelle

FAQ

Häufige Fragen

Ist eine Cloud-KI mit der DSGVO vereinbar?

Das kann sie sein. Voraussetzungen sind unter anderem eine Rechtsgrundlage für die Verarbeitung, ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, geeignete technische und organisatorische Maßnahmen nach Art. 32 und bei Übermittlungen in Drittländer die Regeln der Art. 44 ff. Die Bewertung hängt vom konkreten Anbieter und von den verarbeiteten Daten ab.

Sind lokale Sprachmodelle so gut wie Cloud-Modelle?

Nicht in jeder Aufgabe. Die leistungsfähigsten Sprachmodelle sind derzeit meist nur als Cloud-Dienst verfügbar. Offene Modelle, die sich lokal betreiben lassen, reichen für viele klar umrissene Aufgaben aus. Welche Qualität eine Aufgabe braucht, sollte man mit eigenen Beispielen testen.

Ändert die Betriebsform etwas an den Pflichten nach dem EU AI Act?

Kaum. Die KI-Verordnung knüpft an den Zweck und die Rolle an, also daran, wofür ein System eingesetzt wird und ob man Anbieter oder Betreiber ist, nicht daran, wo der Server steht. Die Betriebsform ist aber für Datenschutz und Informationssicherheit entscheidend.

Sehen Sie es mit Ihren eigenen Unterlagen.

In einem 30-minütigen Gespräch zeigen wir die Produkte live und klären, welcher Anwendungsfall bei Ihnen zuerst Sinn ergibt. Unverbindlich, auf Deutsch oder Englisch, in Wien oder online.

UNID AI · Leonard-Bernstein-Straße 10 · 1220 Wien · +43 660 476 30 89