KI bei Auftragsverarbeitern

„Künstliche Intelligenz“ begegnet uns täglich – zu Hause, im Büro, in der großen weiten digitalen Welt. Sie versteckt sich in Apps und in Softwareprodukten, quasi überall. Seit Februar 2025 haben Unternehmen daher laut der KI-Verordnung (KI-VO, englisch: AI Act) ihre Mitarbeitenden zu schulen. „KI-Kompetenz“ heißt das Zauberwort. Das bedeutet, über den Einsatz des KI-Systems zu informieren, entsprechende Vorgaben zur Parametrierung, Zweck und Nutzung zu geben.

Im Vordergrund stehen hier Fragen wie „Wofür darf die KI genutzt werden?“, „Wie ist das System einzusetzen?“ und „Welche Daten dürfen in den Prompt eingegeben werden?“. Namen, Adressen, Geburtsdaten, Geschäftszahlen, personenbezogene Informationen gehören bspw. nicht in ein KI-System, außer es ist auf einem eigenen Server gehostet und das IT-Team hat eine Mauer drum herum gebaut, sodass keine Daten an Dritte, z.B. in die USA, abfließen.

Von Halluzinationen bis Haftung – Risiken verstehen

Gleichzeitig sollten die Nutzerinnen und Nutzer die Risiken kennen, die mit KI einhergehen. KI-Systeme können beispielsweise halluzinieren und falsche Ergebnisse liefern. Deshalb ist es entscheidend, den ausgegebenen Inhalt stets kritisch zu prüfen. Hinzu kommt das Thema „Haftung“: Wird ein KI-System etwa in Auswahlprozesse bei Bewerbungen eingebunden, kann es dazu führen, dass Menschen aufgrund bestimmter Merkmale aussortiert werden – und damit wären wir bei Diskriminierung. Sich danach herauszureden mit „Das war nicht ich, das war die KI“ funktioniert nicht.

Ebenso bedenken nur wenige, dass es problematisch sein kann, einen Geschäftsbrief einfach in ein KI-Tool zu kopieren, um schnell eine Zusammenfassung zu erhalten. Die meisten haben solche Risiken nicht auf dem Schirm – das Tool wirkt schließlich auf den ersten Blick so praktisch.

Anbieter und Betreiber in der Pflicht

Anders sieht es aus, wenn ein Unternehmen, ein eigenes KI-Model entwickelt und auch eigene Trainingsdaten verwenden. Für einen solchen Anbieter hält die KI-Verordnung einen ganzen Strauß an Vorgaben bereit.

Pflichten für Anbieter: Der risikobasierte Ansatz der KI-VO

Die KI-Verordnung der EU verpflichtet Anbieter dazu, KI-Systeme entlang eines risikobasierten Ansatzes zu entwickeln und zu betreiben. Je höher das Risiko eines Systems, desto strenger die Anforderungen: Dazu gehören unter anderem transparente Informationen über Funktionsweise und Grenzen, hochwertige und diskriminierungsarme Trainingsdaten, technische Dokumentation, Protokollierung sowie robuste Sicherheits- und Cyberschutzmaßnahmen. Auch Vorgaben zur Nachvollziehbarkeit, menschlichen Aufsicht und zur Kennzeichnung von KI-generierten Inhalten gehören zum Pflichtenkatalog.

Für Anbieter leistungsstarker Allzweck-KI – etwa großer Sprachmodelle – gelten zusätzliche Transparenz- und Risikomanagementpflichten, einschließlich umfassender Modelltests, Offenlegung relevanter Trainingsdaten und regelmäßiger Sicherheitsberichte. Einige KI-Einsatzformen sind vollständig untersagt, etwa soziale Bewertungssysteme oder manipulative KI. Verstöße gegen die Verordnung können zu erheblichen Sanktionen führen, darunter Bußgelder in Höhe mehrerer Millionen Euro oder eines prozentualen Anteils des weltweiten Jahresumsatzes.

Schulung, Aufsicht und Transparenz: Was Betreiber beachten müssen

Betreiber müssen sicherstellen, dass sie KI-Systeme zweckgemäß, transparent und verantwortungsvoll einsetzen. Sie müssen ihre Mitarbeitenden schulen, die Systeme angemessen überwachen und sicherstellen, dass die KI nur in den dafür vorgesehenen Szenarien eingesetzt wird. Wo erforderlich, müssen Nutzer darüber informiert werden, dass sie mit KI interagieren — insbesondere bei Chatbots oder KI-generierten Inhalten. Bei Systemen, die Risiken für Grundrechte oder Diskriminierung bergen, gelten erhöhte Sorgfaltspflichten.

Für Hochrisiko-KI treffen Betreiber besonders strenge Vorgaben: Sie müssen die Datensätze, die sie in das System einspeisen, auf Qualität und Verzerrungen prüfen, eine kontinuierliche menschliche Aufsicht gewährleisten und relevante Nutzungsvorgänge protokollieren. Treten schwerwiegende Vorfälle oder Fehlfunktionen auf, müssen diese gemeldet werden. Betreiber sind außerdem verpflichtet, die Auswirkungen des Systems auf die betroffenen Personen zu bewerten und sicherzustellen, dass Entscheidungen der KI nachvollziehbar bleiben und durch Menschen korrigiert werden können.

An die Auftragsverarbeitung bei externen Dienstleister gedacht?

Wenn im eigenen Unternehmen alles im Griff ist, stellt sich noch die Frage: Haben wir auch an unsere Auftragsverarbeiter gedacht? Externe Dienstleister handeln schließlich auf Weisung und nach den Vorgaben des Unternehmens. Doch was, wenn intern alles datenschutzkonform läuft, die Daten beim Auftragsverarbeiter aber über einen kostenlosen, privaten ChatGPT-Account in den USA verarbeitet werden?

Wichtig: Die Verantwortung bleibt beim Unternehmen – im Sinne der DSGVO. Daher sollte das Unternehmen genau wissen, ob der Dienstleister in der Datenverarbeitung Künstliche Intelligenz einsetzt. Falls ja, ist zu prüfen, ob alle Datenschutzvorgaben eingehalten werden und ob der Auftragsverarbeiter über ausreichende KI-Kompetenz verfügt. Es ist zudem hilfreich zu wissen, welche Tools konkret verwendet werden und wie das KI-System beim Dienstleister zum Einsatz kommt.

Da die Daten beim Auftragsverarbeiter nach Weisung verarbeitet werden, kann das auftraggebende Unternehmen den Einsatz von KI bei der Verarbeitung verbieten, wenn Risiken identifiziert werden. Es ist daher sinnvoll, eine entsprechende Regelung in den Auftragsverarbeitungsvertrag (AVV) aufzunehmen.

Prüfen, prüfen, prüfen!

Die DSGVO sieht zudem die Überprüfung der externen Dienstleister während des gesamten Vertragsverhältnisses vor – Art. 28 DSGVO lässt grüßen. Daher empfiehlt es sich, das Thema „KI“ ausdrücklich in diese Prüfungen einzubeziehen und zu klären, wie der Auftragsverarbeiter die rechtlichen Anforderungen auch gegenüber seinen Subunternehmen sicherstellt. Eine zentrale Frage lautet hier: „Führt der Auftragsverarbeiter regelmäßige Kontrollen seiner Unterauftragnehmer durch?“

In der Praxis können kritische Situationen entstehen, etwa wenn ein externer Dienstleister die erste Sichtung von Bewerbungsunterlagen übernimmt. Kommt hierbei ein KI-System zum Einsatz, sollte das Unternehmen genau hinschauen – denn in solchen Fällen kann eine Datenschutz-Folgenabschätzung (DSFA) erforderlich sein.