Ein Geschäftsführer erzählte mir vor Kurzem: "Wir wissen nicht wirklich, wer bei uns welches KI-Tool nutzt. Und für welche Daten."
Das ist der Standardfall. Nicht die Ausnahme. Und er wird in wenigen Wochen teuer.
Ab dem 2. August 2026 greift der volle Sanktionsrahmen des EU AI Act. Bußgelder bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes stehen im Raum, wenn ein Unternehmen KI einsetzt, ohne dass Mitarbeitende dafür qualifiziert sind (Artikel 4, EU AI Act). Genau deshalb sind KI-Nutzungsrichtlinien im Mittelstand jetzt kein IT-Thema mehr, sondern eine Führungsentscheidung mit Frist.
"Wer KI ohne Regeln laufen lässt, skaliert nicht Wachstum, sondern Haftung."
Warum der EU AI Act den Mittelstand jetzt trifft
Der EU AI Act ist seit August 2024 in Kraft und wird stufenweise scharfgestellt. Für die meisten Mittelständler ist die entscheidende Norm nicht die Regulierung von Hochrisiko-Systemen, sondern Artikel 4: KI-Kompetenzpflicht. Diese Pflicht gilt bereits seit dem 2. Februar 2025, ist also nicht neu. Neu ist der Zeitpunkt, ab dem sie sanktionsbewehrt greift.
Was Artikel 4 konkret verlangt
Anbieter und Betreiber von KI-Systemen müssen sicherstellen, dass alle Personen, die mit KI arbeiten, über ausreichende KI-Kompetenz verfügen. Das schließt eigene Mitarbeitende ebenso ein wie Dienstleister und Freelancer, die im Auftrag des Unternehmens KI nutzen.
Kurz gesagt: Wer KI im Unternehmen einsetzt, ist verantwortlich dafür, dass die Menschen dahinter wissen, was sie tun, wo die Grenzen liegen und welche Risiken das Werkzeug hat.
Der Stichtag ist der Hebel, nicht das Problem
Der 2. August 2026 ist nicht der Moment, an dem der Regulator vor der Tür steht. Er ist der Moment, ab dem eine fehlende Governance in Streitfällen, Datenschutzvorfällen oder Kundenanfragen zum Bumerang wird. Wenn ein Prompt vertrauliche Kundendaten in ein öffentliches Sprachmodell trägt und niemand kann belegen, dass Regeln, Freigaben und Schulung existierten, verschiebt sich die Beweislast.
Der Ist-Zustand im Mittelstand: Schatten-KI ohne Rahmen
Bevor über Governance-Frameworks nachgedacht wird, hilft ein ehrlicher Blick auf den Ausgangszustand. Die Zahlen sind eindeutig.
71%
der Mitarbeitenden im DACH-Mittelstand nutzen generative KI ohne formale Freigabe der IT.
Superkind Shadow-AI Report 2025
38%
geben dabei sensible Geschäftsdaten in öffentliche Sprachmodelle ein.
Superkind Shadow-AI Report 2025
63%
der Unternehmen mit KI-Nutzung haben keine formale Governance-Richtlinie oder arbeiten noch daran.
Bitkom KI-Nutzung im Unternehmen 2025
Diese drei Zahlen beschreiben denselben Zustand aus drei Winkeln: KI ist längst im Unternehmen, aber Ordnung ist es nicht. Für einen Regulator ist das kein Randphänomen. Für die Geschäftsführung ist es Governance-Aufgabe erster Ordnung.
Warum Regeln bisher gefehlt haben
In der Praxis beobachte ich zwei Muster, die sich verstärken. Erstens: KI wird als IT-Thema behandelt, aber die IT-Abteilung ist mit Alltag ausgelastet und hat weder Mandat noch Kapazität für Governance. Zweitens: Die Geschäftsführung wartet, bis Klarheit von außen kommt. Beides zusammen ergibt ein Vakuum, in dem Mitarbeitende pragmatisch die Tools nutzen, die ihnen helfen. Das ist rational auf individueller Ebene und riskant auf Unternehmensebene.
Genau darum wirken KI-Nutzungsrichtlinien im Mittelstand am besten dann, wenn sie nicht aus der IT-Abteilung, sondern aus der Führung kommen. Sie sind kein technisches Dokument, sondern eine Steuerungsentscheidung.
"KI-Governance ist im Mittelstand kein Compliance-Thema, sondern die Voraussetzung dafür, dass KI-Investitionen überhaupt Wirkung entfalten."
Was eine KI-Nutzungsrichtlinie im Mittelstand leisten muss
Eine wirksame Richtlinie ist kurz, konkret und verständlich. Sie ist kein Rechtstext, sondern eine Anleitung: Was ist erlaubt, was nicht, wo hole ich Freigabe, wo bekomme ich Hilfe. Diese fünf Bausteine gehören in jede belastbare Governance im Mittelstand.
1
Zwecke und Grenzen benennen
Für welche Aufgaben ist KI erlaubt, für welche nicht. Konkret: Marketing-Entwürfe ja, Kundenverträge nein, Personalentscheidungen nur mit menschlicher Freigabe. Wer Grenzen nicht benennt, hat sie faktisch nicht.
2
Datenklassen definieren
Öffentliche Daten, interne Daten, personenbezogene Daten, Geschäftsgeheimnisse. Für jede Klasse gilt eine klare Regel, welche Modelle und welche Werkzeuge erlaubt sind. Ohne diese Ebene bleibt jede Regel Theorie.
3
Freigabeweg und Verantwortliche
Wer entscheidet, ob ein neues Tool eingeführt wird. Wer prüft Datenschutz. Wer trägt am Ende die Verantwortung. Ohne benannten Owner ist Governance nur Absichtserklärung.
4
Schulung und KI-Kompetenz
Artikel 4 EU AI Act verlangt nachweisbare KI-Kompetenz. Das ist kein einmaliger Kurs, sondern ein wiederkehrendes Format. Dokumentation der Schulung ist der eigentliche Nachweis, den ein Regulator im Zweifel sehen will.
5
Vorfallsmanagement und Update-Rhythmus
Was passiert, wenn etwas schiefgeht. Wer wird informiert, wer entscheidet, wer dokumentiert. Und ein fester Rhythmus, in dem die Richtlinie überprüft wird, weil sich Tools und Rechtslage schneller ändern als Jahresberichte.
Diese fünf Bausteine passen im Mittelstand auf zwei bis drei Seiten. Länger sollte eine KI-Nutzungsrichtlinie in einem Unternehmen mit 30 bis 300 Mitarbeitenden nicht sein, sonst wird sie nicht gelesen. Und was nicht gelesen wird, wirkt nicht.
"Eine Governance, die niemand liest, schützt niemanden. Eine, die alle verstehen, wirkt sofort."
Wo Governance häufig scheitert
Die typischen Fehler sind nicht rechtlicher Natur, sondern organisatorisch. Zwei sehe ich immer wieder.
Fehler 1: Verbotsliste statt Nutzungslogik
Eine Richtlinie, die nur aufzählt, was verboten ist, treibt Nutzung in den Schatten. Wer keine legalen Wege bietet, bekommt heimliche. Governance funktioniert, wenn sie Räume öffnet und Grenzen benennt.
Fehler 2: Verantwortung ohne Mandat
Ein KI-Beauftragter ohne Budget, ohne Zeit und ohne Rückendeckung aus der Geschäftsführung schreibt eine Richtlinie, die keiner umsetzt. Governance ist eine Führungsaufgabe, delegierbar erst nach dem Rahmen, nicht davor.
Ein 30-Tage-Fahrplan bis zur ersten belastbaren Richtlinie
Wer heute startet, hat vor dem 2. August 2026 einen belastbaren Rahmen. Es braucht keinen Großauftrag an eine Kanzlei, um zu beginnen. Es braucht drei Wochen fokussierte Arbeit und eine klare Entscheidung.
Woche 1
KI-Inventur
Welche Tools werden bereits genutzt, offiziell und inoffiziell. Kurzumfrage im Team ohne Sanktionscharakter. Ergebnis: Realistisches Bild statt Wunschbild.
Woche 2
Rahmen entwerfen
Die fünf Bausteine auf zwei Seiten bringen. Datenklassen, Freigabeweg, Verantwortliche, Schulungsformat, Update-Rhythmus. Kein Rechtstext, sondern Praxisdokument.
Woche 3
Rollout und Schulung
Kickoff mit dem Team, Schulung dokumentieren, Owner benennen. Danach quartalsweiser Review-Termin im Kalender. Ab hier ist Governance im Rhythmus, nicht mehr im Projekt.
Das Ziel ist nicht die perfekte Richtlinie. Das Ziel ist eine belastbare Richtlinie, die tatsächlich gelebt wird. Perfektion darf danach kommen, wenn die ersten Erfahrungen mit dem Rahmen vorliegen.
KI-Nutzungsrichtlinien als Teil der Führungslogik
Ich arbeite mit dem MASAKI-Framework, das Marketing, Alignment, Sales, Automation und KI, KPIs sowie Investment als ein System betrachtet. Governance ist in diesem System nicht der letzte Baustein, sondern der Rahmen, in dem die anderen wirken. Meine Überzeugung aus den letzten Projekten: Ohne Governance skaliert KI genau die Widersprüche, die vorher schon da waren. Mit Governance skaliert sie die Wirkung, die vorher blockiert war.
Wer tiefer in verwandte Themen einsteigen will: In Shadow AI im Mittelstand beschreibe ich, wie unkontrollierte KI-Nutzung entsteht und wie sie sich sichtbar machen lässt. In Compliance zwischen DSGVO, EU AI Act, SOC 2 und ISO ordne ich die Regelwerke, mit denen ein Mittelständler heute umgehen muss.
FAQ
Was Entscheider am häufigsten fragen
Ist eine KI-Nutzungsrichtlinie im Mittelstand rechtlich vorgeschrieben?
Eine Richtlinie selbst ist nicht explizit vorgeschrieben. Verpflichtend ist die KI-Kompetenzpflicht aus Artikel 4 des EU AI Act, die seit 2. Februar 2025 gilt. In der Praxis lässt sich diese Pflicht ohne eine schriftliche Richtlinie kaum belegen. Eine klare Nutzungsrichtlinie ist deshalb der einfachste Weg, die Kompetenzpflicht nachweisbar zu erfüllen.
Was passiert am 2. August 2026 genau?
Ab diesem Datum greift der volle Bußgeldrahmen des EU AI Act für den größten Teil der Verordnung. Bei schweren Verstößen sind Bußgelder bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes möglich. Für den Mittelstand ist dabei weniger die Höhe des theoretischen Rahmens entscheidend als die Frage, ob im Streitfall Governance, Schulung und Dokumentation nachgewiesen werden können.
Wie umfangreich muss eine KI-Nutzungsrichtlinie im Mittelstand sein?
Zwei bis drei Seiten reichen in der Regel aus. Wichtiger als Umfang ist Klarheit: erlaubte Zwecke, Datenklassen, Freigabeweg, Verantwortliche, Schulungsformat und Update-Rhythmus. Ein längeres Dokument, das niemand liest, wirkt weniger als eine kompakte Richtlinie, die alle im Team verstehen.
Wer sollte im Mittelstand für KI-Governance verantwortlich sein?
Die Verantwortung liegt bei der Geschäftsführung. Delegierbar ist die operative Umsetzung, nicht der Rahmen. Ein KI-Beauftragter braucht ein klares Mandat, Budget und einen kurzen Berichtsweg zur Geschäftsführung. Ohne diese drei Elemente wird KI-Governance zum Nebenprojekt und verliert an Wirkung.
Wie hängen KI-Nutzungsrichtlinien und Schulungspflicht zusammen?
Die Richtlinie beschreibt, was erlaubt ist. Die Schulung stellt sicher, dass Mitarbeitende die Richtlinie verstehen und anwenden können. Artikel 4 des EU AI Act verlangt beides implizit: eine Regel und eine Kompetenz. In der Praxis funktioniert nur die Kombination. Eine Richtlinie ohne Schulung wird nicht gelebt, eine Schulung ohne Richtlinie hat keinen Bezugsrahmen.
Welche Rolle spielt eine KI-Nutzungsrichtlinie beim Umsatz?
Sie schafft die Voraussetzung dafür, dass KI-Investitionen überhaupt Wirkung entfalten. Ohne Rahmen entsteht Insellösung, ohne Insellösung fließen Investitionen in Tools, deren Wirkung nicht messbar wird. Governance ist damit kein Bremsklotz, sondern Bedingung für skalierbare Wirkung von KI in Marketing, Vertrieb und Operations.