Lokale KI-Lösungen und der Datenschutz

Nutzen Unternehmen KI-Lösungen aus dem Internet, gelangen über kurz oder lang sensible Daten aus dem Unternehmen in die Cloud. Generative KI-Lösungen nutzen Large Language Models (LLMs). Diese müssen lernen, um richtig arbeiten zu können. Das Lernen erfolgt auch auf Basis der Daten, die Benutzer bei der Verwendung eingeben, und aus den Fragen, die Anwender stellen. Schlussendlich profitieren damit dann auch andere, dritte Nutzer der KI-Lösung von heiklen Unternehmensdaten. Das stellt ein Problem dar, nicht nur bezüglich des Datenschutzes.

Eine Alternative besteht darin, lokal KI-Server zu betreiben. In diesem Fall bleiben alle Daten im lokalen Rechenzentrum. Das ist aus Sicht des Datenschutzes sehr viel besser. Notwendig sind dazu schnelle Server, idealerweise mit Prozessoren, die KI-Lösungen unterstützen, etwa NPUs oder spezielle Hardware von NVIDIA und AMD.

KI-Server und Open Source

Die Basis vieler KI-Server ist Open Source. Betreiben lassen sich die Lösungen z.B. mit Ubuntu. Die KI selbst steht ebenfalls oft als Open-Source-Modell zur Verfügung. Ein Beispiel ist Ollama (https://ollama.com). Hier lassen sich verschiedene LLMs integrieren, auch parallel. Dazu kommen grafische Bedienoberflächen wie OpenWebUI (https://openwebui.com).

Diese beiden Anwendungen stehen als Open Source kostenlos zur Verfügung und lassen sich auf geeigneter Hardware in wenigen Minuten einrichten. Die Anwender arbeiten dann mit einem lokalen KI-Server. Alle Daten verbleiben im lokalen Netzwerk. Ollama und OpenWebUI bieten zudem eine eigene Benut…