DSGVO-konforme KI & Haftung
Shownotes
Die KI ist Werkzeug, nicht Rechtssubjekt – einstehen müssen Menschen.
Ein KI-System kann nicht verklagt werden und besitzt kein Vermögen. Verantwortlich sind stets Hersteller, Betreiber und im Einzelfall der bedienende Mitarbeiter. Diese Folge erklärt, wie sich die Verantwortung 2026 verteilt und was daraus praktisch folgt.
Themen der Folge:
Die fünf DSGVO-Pflichten nach der DSK-Orientierungshilfe (Juni 2025): Rechtsgrundlage und Trainingsdaten, Zweckbindung, Transparenz, Betroffenenrechte im laufenden Betrieb, technische und organisatorische Maßnahmen Warum die Betroffenenrechte der schwierigste Punkt sind: Wer ein System einsetzt, aus dem sich eingeflossene Daten faktisch nicht mehr entfernen lassen, hat ein Compliance-Problem schon beim Design Die Haftungslücke: Am 11. Februar 2025 hat die EU-Kommission die KI-Haftungsrichtlinie zurückgezogen – seither gibt es keinen harmonisierten KI-Haftungsrahmen Was an ihre Stelle tritt: die neue Produkthaftungsrichtlinie (RL 2024/2853), umzusetzen bis 9. Dezember 2026. Software gilt erstmals ausdrücklich als Produkt – auch Cloud und SaaS Der erweiterte Fehlerbegriff: fehlerhafte Updates und unzureichender Cyberschutz können haftungsbegründend sein Beweiserleichterungen und Offenlegungspflichten gegen das Blackbox-Problem Geschäftsführerhaftung nach § 43 GmbHG und § 93 AktG: Wer KI ohne Risikoprüfung und interne Regeln einführt, riskiert persönliche Haftung Schatten-KI als Organhaftungsrisiko Der „Digital Omnibus" vom November 2025 – ausdrücklich als umstrittener Vorschlag, nicht als geltendes Recht Acht-Punkte-Checkliste: KI-Inventar, Rechtsgrundlagen, Folgenabschätzung, Anbieterverträge, menschliche Letztkontrolle, interne Richtlinie, Protokollierung Verantwortungsmatrix: Wer haftet wofür – Hersteller, Betreiber, Nutzer
Drei Daten zum Merken: 11.02.2025 (Rückzug der AILD) · 09.12.2026 (Umsetzungsfrist Produkthaftung) · 30,5 Mio. € (Bußgeld gegen Clearview AI, NL 2024)
Quellen (Auswahl): DSK-Orientierungshilfe Juni 2025 · Richtlinie (EU) 2024/2853 · § 43 GmbHG, § 93 AktG · EDSA/EDSB-Stellungnahme Februar 2026
Rechtliche Einordnung ersetzt keine Beratung im Einzelfall.
Diese Folge enthält Werbung: contboxx Vault – souveräne KI für Ihr Unternehmenswissen. On-Premises, DSGVO-konform, zum Festpreis. Mehr auf vault.contboxx.com
Prompt-Zeit ist ein KI-generierter Podcast: Stimmen, Recherche und Redaktion entstehen mit künstlicher Intelligenz.
Transkript anzeigen
00:00:00: Willkommen bei Promtzeit.
00:00:01: Wir kommen fast für KI in der Unternehmenswelt,
00:00:04: von Hardware bis Recht Praxisner Deutschsprachig Von dir Es geht los!
00:00:14: Bevor es losgeht ein Hinweis in eigener Sache Bei Promt Zeit ist die KI nicht nur Thema sondern macht auch die Arbeit.
00:00:21: Stimmen, Recherche und Redaktion dieses Podcasts sind KI generiert.
00:00:26: In diesem Sinne viel Spaß mit Erfolge.
00:00:28: DSGVO
00:00:30: Konforme KI und Haftung.
00:00:33: Eine KI lehnt einen Kreditantrag ab, sortiert eine Bewerbung aus oder verschickt eine falsche Rechnung.
00:00:41: Und der Schaden ist da!
00:00:43: Die naheliegende Frage «Wer haftet?» hat im Jahr twenty-sixundzwanzig keine bequeme Antwort.
00:00:50: Der erhoffte europäische KI Haftungsrahmen ist gescheitert – gleichzeitig rückt eine verschärfte Produkthaftung näher Und die Datenschutzaufsicht zieht die Pflichten für den laufenden KI-Betrieb an.
00:01:04: Wer KI im Unternehmen einsetzt, sollte die Rechtslage kennen bevor der erste Streitfall sie ihm erklärt.
00:01:12: Eine Bestandsaufnahme für Entscheider.
00:01:16: Künstliche Intelligenz handelt nicht im rechtsfreien Raum und sie haftet auch nicht selbst.
00:01:22: Ein KI System ist keine juristische Person.
00:01:25: Es kann nicht verklagt werden und besitzt kein Vermögen, aus dem ein geschädigter Ersatz erlangen könnte.
00:01:32: Verantwortlich sind stets Menschen und Unternehmen – der Hersteller des Systems, der Betreiber, der es einsetzt und im Einzelfall der Nutzer, der das bedient.
00:01:43: Diese Grundregel klingt simpel.
00:01:46: Ihre Anwendung auf eine selbst lernende teils undurchschaubare Technologie ist es nicht!
00:01:52: Zwei Rechtsgebiete greifen ineinander Das Datenschutzrecht, der DSGVO und das zivilrechtliche Haftungsrecht.
00:02:01: Beide befinden sich im Jahr- und Jahrzehnte in Bewegung.
00:02:11: Die Datenschutzkundverordnung gilt für KI uneingeschränkt, sobald personenbezogene Daten verarbeitet werden – und das ist bei den meisten Anwendungen im unternehmender Fall!
00:02:22: vom Kundenservice-Chatbot bis zur Bewerbervorauswahl.
00:02:27: Die Datenschutzkonferenz, DSK – das Gremium der deutschen Aufsichtsbehörden hat dazu im Juni twenty-fünfundzwanzig eine ergänzende Orientierungshilfe zum datenschutzkomformen Einsatz und zur Entwicklung von KI-Systemen veröffentlicht.
00:02:44: Sie baut auf der ersten Fassung vom Mai und konkretisiert, was Verantwortliche entlang des gesamten KI-Lebenszyklus von Planung über Training bis zum laufenden Betrieb leisten müssen.
00:03:00: Fünf Pflichten stehen für den Mittelstand im Vordergrund.
00:03:15: Besonders kritisch sind Trainingsdaten mit Personenbezug, also Datensätze die aus realen Personen gespeist werden.
00:03:23: Wer fremde Modelle nutzt muss sich vergewissern auf welcher Grundlage diese trainiert wurden.
00:03:29: Wer selbst trainiert trägt die volle Verantwortung.
00:03:33: Zweitens Zweckbindung und Datenminimierung.
00:03:38: Daten dürfen nur für den ursprünglich festgelegten Zweck verwendet werden.
00:03:43: Ein für die Lagerlogistik erhobener Datenbestand lässt sich nicht ohne Weiteres in ein Personal Scoring um widmen.
00:03:52: Drittens – Transparenz.
00:03:54: Betroffene müssen wissen, dass und wie eine KI ihre Daten verarbeitet.
00:04:00: Bei automatisierten Einzelentscheidungen mit rechtlicher Wirkung greift zusätzlich Artikel twenty-two DSGVO Mit seinen besonderen Anforderungen.
00:04:11: Viertens Und praktisch am anspruchsvollsten die betroffenen Rechte im laufenden Betrieb.
00:04:18: Auskunft, Artikel XV, Berichtigung, Löschung und Widerspruch müssen technisch durchsetzbar bleiben – auch wenn das Modell bereits trainiert ist!
00:04:29: Die DSK macht hier deutlich, wer ein System einsetzt aus dem sich einmal eingeflossene Daten faktisch nicht mehr entfernen lassen hat einen Compliance-Problem – nicht erst bei der Beschwerde sondern schon beim Design.
00:04:45: Fünftens.
00:04:46: Technische und organisatorische Maßnahmen.
00:04:50: Die Orientierungshilfe ordnet diese sieben Gewährleistungszielen zu, darunter Datenminimierung, Transparenz, Vertraulichkeit, Integrität und Nichtverkettung.
00:05:02: Übersetzt heißt das Zugriffskontrollen, Protokollierungen Tests auf Diskriminierung Und eine dokumentierte Datenschutzfolgenabschätzung gehören zum Pflichtprogramm.
00:05:14: Merksatz Die KI haftet nie selbst.
00:05:19: Sie ist Werkzeug, nicht Rechtssubjekt.
00:05:22: Einstehen müssen Hersteller, Betreiber und Nutzer je nach Verursachungsbeitrag.
00:05:29: Auf der Haftungseite hatte die EU-Kommission lange einen eigenen Rahmen geplant – Sie sollte geschädigten den Nachweis erleichtern, dass ein KI-Fehler ihren Schaden verursacht hat.
00:05:57: Daraus wird nichts!
00:05:59: Am elften Februar, im Jahr zwei Tausend fünfundzwanzig kündigte die Kommission in ihrem Arbeitsprogramm an, den Vorschlag zurückzuziehen Es sei keine Einigung absehbar.
00:06:16: Damit gibt es in den Jahren im Jahr- und Jahrzehntag keinen harmonisierten, KI spezifischen zivilrechtlichen Haftungsrahmen der EU.
00:06:25: Die verschuldensabhängige Haftung – also die Frage ob jemand fahrlässig gehandelt hat – richtet sich weiter nach nationalem Recht, in Deutschland nach dem BGB.
00:06:37: An die Stelle der AILD tritt ein anderes Instrument das für Hersteller weitreichender ist Die neue EU-Produkthaftungsrichtlinie.
00:06:47: Sie ist am achten Dezember, zwei Tausendvierundzwanzig in Kraft getreten und muss bis zum neunten Dezember, zweitausendzechsundzwantzig im nationales Recht umgesetzt sein.
00:06:58: In Deutschland läuft das Gesetzgebungsverfahren zur Modernisierung des Produkthaftungsrechts.
00:07:04: BMJ, Zweitausendsfünfundzwanzig Drei Punkte sind für KI entscheidend.
00:07:11: Erstens definiert die Richtlinie Software ausdrücklich als Produkt, gleich ob lokal installiert, aus der Cloud bezogen oder als Saas genutzt.
00:07:21: KI-Systeme gelten als Unterfall von Software und fallen damit erstmals unter die verschuldensunabhängige Produkthaftung.
00:07:29: Der Hersteller haftet für einen Produktfehler ohne dass ihm ein Verschulden nachgewiesen werden muss PWC Legal, Bird & Bird.
00:07:40: Zweitens erfasst der Fehlerbegriff nun auch fehlerhafte Software-Updates und unzureichenden Cyberschutz.
00:07:48: Eine KI die nach einem Update fehlerhaft entscheidet oder durch eine ausnutzbare Sicherheitslücke manipuliert werden kann, kann einen haftungsbegründenden Produktfehler darstellen.
00:07:59: Drittens führt die Richtlinie Beweiserleichterungen und Offenlegungspflichten zu Gunsten geschädigter ein.
00:08:07: Wer einen Schaden geltend macht, kann unter bestimmten Voraussetzungen die Offennlegung technischer Informationen verlangen.
00:08:14: Legt der Hersteller nicht offen, kann der Fehler vermutet werden.
00:08:18: Das adressiert genau die Blackbox-Problematik an der die zurückgezogene AILD ansetzen wollte.
00:08:25: Bis zur Umsetzung gilt weiter das bisherige Produkthaftungsgesetz.
00:08:30: Das neue Recht greift für Produkte, die nach dem neunten Dezember-Zweitausendsechsundzwanzig in Verkehr gebracht werden.
00:08:38: Wichtig für Betreiber?
00:08:39: Die Produkthaftung trifft primär den Hersteller!
00:08:42: Sie entbindet den einsetzenden Betrieb nicht von eigener Verantwortung – etwa aus Vertrag, aus DSGVO Verstößen oder aus der Verletzung eigener Sorgfaltspflichten bei Auswahl, Konfiguration und Überwachung des Systems.
00:09:01: KI Governance ist Chefssache.
00:09:05: Für die Geschäftsführung ist KI Governence keine reine IT-Frage, sondern Teil der Organpflichten.
00:09:12: Die Sorgfalsplichten des Paragrafen Dreiundvierzig GmbHG und das Paragraphen Dreihundneunzig AKTG verlangen, dass die Leitung des Unternehmen mit der Sorgfalte eines ordentlichen Geschäftsmanns führt.
00:09:26: Kanzlei-Analysen aus twentyfünfundzwanzig sind sich einig, dass sich diese Pflicht auf den Umgang mit KI erstreckt.
00:09:35: Wer ein System ohne Risikoprüfung, ohne Datenschutzfolgenabschätzung und ohne interne Regeln einführt riskiert eine persönliche Haftung des Organs wenn daraus einen Schaden entsteht.
00:09:49: Besonders im Blick die sogenannte SchattenKI Setzen Mitarbeiter eigenmächtig Cloud-Tools ein, in die sie Kunden oder Personaldaten eingeben ohne das Geschäftsführung oder Datenschutzbeauftragter davon wissen, fehlt es an der gebotenen Kontrolle.
00:10:08: Eine solche umkontrollierte Nutzung kann nicht nur DSGVO Bußgelder sondern auch eine Organhaftung auslösen.
00:10:17: Die Pflichterleitung besteht also darin KI Einsatz aktiv zu steuern Richtlinien erlassen, Verantwortlichkeiten festlegen.
00:10:27: Einsatz dokumentieren.
00:10:31: Ein Hinweis zur Rechtsentwicklung der ausdrücklich als Vorschlag und nicht als geltendes Recht zu lesen ist.
00:10:38: Mit dem am neunzehnten November zweitausendfünfundzwanzig von der Kommission vorgelegten Digital Omnibus stehen Lockerungen der DSGVO im Raum.
00:10:49: Unter anderem soll KI-Training als berechtigtes Interesse nach Artikel sechs verankert, neuer Artikel achtundachtzig C. Und der Begriff der personenbezogenen Daten teils neu gefasst werden.
00:11:03: Der Vorschlag ist hoch umstritten!
00:11:06: Der europäische Datenschutz-Ausschuss und der Datenschutze beauftragte lehnten in einer gemeinsamen Stellungnahme im Februar zwei tausendsechsundzwanzig zentrale Punkte ab und über einhundertdreißig Bürgerrechtsorganisationen kritisierten ihn scharf.
00:11:22: Für die Praxis gilt abwarten, beobachten und Entscheidungen weiter auf dem geltenden Recht aufbauen.
00:11:45: Alle reden über KI im Unternehmen.
00:11:48: Aber Hand aufs Herz!
00:11:50: Wollen Sie wirklich, dass Ihre Verträge, Angebote und Personaldokumente in einer fremden Cloud landen?
00:11:58: Kondbox Vault ist die KI für Ihr Unternehmenswissen – und sie läuft komplett in Ihrem eigenen Rechenzentrum.
00:12:06: Vault verbindet SharePoint, Teams, SAP und über vierzig weitere Systeme.
00:12:11: Beantwortet Fragen Ihrer Mitarbeiter in Sekunden und verteilt Wissen automatisch, per Mail, Messenger oder Bildschirm.
00:12:20: Ihre Daten bleiben bei Ihnen – DSGVO-konform ISO-Siebenundzwanzig Nullnull Eins zertifiziert!
00:12:28: Und statt unkalkulierbarer Cloud-Kosten zahlen Sie einen planbaren Festpreis bis zu seventy-fünf Prozent günstiger als Cloudalternativen.
00:12:38: mehr als tausend gesparte Arbeitsstunden im Jahr ohne Kontrollverlust.
00:12:56: Praktische Leitlinien schrägstrich Checkliste.
00:13:00: Aus der Rechtslage lässt sich ein handhabarer Pflichtenkern ableiten, die folgenden Punkte richten sich an Geschäftsführung und KI-Verantwortliche im Mittelstand.
00:13:11: KI-Inventar führen.
00:13:13: Welche Systeme sind im Einsatz von welchem Anbieter?
00:13:16: mit welchen Daten?
00:13:18: Ohne Übersicht, keine Kontrolle und keine Verteidigung gegen Schattenkai.
00:13:24: Rechtsgrundlage je Anwendung dokumentieren.
00:13:28: Für jede Verarbeitung personenbezogener Daten festhalten worauf sie sich nach Artikel sechs gegebenenfalls Artikel neun DSGVO stützt.
00:13:40: Datenschutzfolgenabschätzung bei System mit hohem Risiko durchführen und aktuell halten.
00:13:47: Betroffenenrechte technisch sicherstellen.
00:13:50: Prüfen, ob Auskunft, Berichtigung, Löschung und Widerspruch im laufenden Betrieb tatsächlich umsetzbar sind – vor der Einführung.
00:13:59: Nicht danach!
00:14:02: Verträge mit Anbietern prüfen Auftragsverarbeitungen.
00:14:05: Artikel XXVIII Haftungs- und Freistellungs-Klauseln Offenlegungs-und Updatepflichten.
00:14:13: Ab Dezember-Zweitausendsechsundzwanzig ist die Herstellerhaftung schärfer.
00:14:17: Das verändert die Verhandlungsposition.
00:14:21: Menschliche Letztkontrolle bei folgenreichen Entscheidungen verankern.
00:14:25: Stichwort Artikel twenty-two DSGVO und dokumentieren.
00:14:32: Interne KI Richtlinie erlassen, Mitarbeiter Schulen Nutzung protokollieren als Nachweis erfüllter Organpflichten Vorfälle und Entscheidungen protokolieren.
00:14:45: Im Streitfall zählt was dokumentiert ist.
00:14:48: Die neuen Offenlegungspflichten der Produkthaftung machen Nachvollziehbarkeit zur Pflicht, nicht zur Kühe.
00:14:55: Das war's wieder für heute und wir hoffen sie konnten etwas Nützliches aus der Folge ziehen!
00:15:00: Wir das sind Ella
00:15:01: und Helmut.
Neuer Kommentar