KI ist im Mittelstand angekommen — und in fast jedem Unternehmen, das ich besuche, herrscht Tool-Wildwuchs ohne strategische Linie. Vier Führungs-Entscheidungen, die jetzt anstehen, jenseits von ChatGPT-Demos und Tool-Listen.
Wenn ich heute mit mittelständischen Geschäftsleitungen über KI spreche, höre ich oft: „Wir nutzen das schon — die Mitarbeiter haben verschiedene Tools im Einsatz.“ Das ist die ehrliche Diagnose: Die Anwendung läuft, die Steuerung fehlt. Mitarbeiter benutzen ChatGPT, Copilot, Claude, manchmal lokale Modelle, oft mit unternehmenskritischen Daten. Es gibt keine Policy, keine Schulung, keine Risikoabschätzung. In zwei oder drei Jahren wird das ein Compliance-Thema werden — bei Datenpannen, regulatorischen Verstößen oder Qualitätsproblemen.
Was dieses Bild besonders aufschlussreich macht: KI ist im Mittelstand typischerweise bottom-up eingeführt worden. Nicht als strategische Entscheidung der Geschäftsleitung, sondern weil einzelne Mitarbeiter anfingen, ChatGPT für ihre Aufgaben zu nutzen — und weil niemand Nein gesagt hat. Laut einer Gartner-Erhebung aus 2024 laufen über 40 Prozent der KI-Tools in Unternehmen ohne formale IT-Freigabe. Sie laufen trotzdem. Die Entscheidung darüber, ob das ein Problem ist, wurde bisher nicht getroffen — sie wurde aufgeschoben.
Diese aufgeschobene Entscheidung ist das eigentliche Thema dieses Artikels. Nicht die Frage, welche Tools am besten sind. Sondern die Frage, wie Führung mit einem Phänomen umgeht, das technisch komplex, regulatorisch relevant und kulturell belastet ist — gleichzeitig. Wer hier nicht handelt, trifft trotzdem eine Entscheidung: die Entscheidung, das Thema dem Zufall zu überlassen.
Entscheidung 1: Welche Daten dürfen in KI-Systeme
Die häufigste Risikolücke im Mittelstand: Mitarbeiter nutzen externe KI-Modelle und kopieren dabei Kundendaten, Verträge, interne Dokumente in die Eingabefelder. Diese Daten verlassen das Unternehmen an Server außerhalb der EU — mit unklarem Verbleib und ohne Protokoll.
Ein konkretes Szenario aus meiner Beratungspraxis: Ein Einkaufsleiter will einen Lieferantenvertrag zusammenfassen und kopiert das Dokument vollständig in ChatGPT. Das Dokument enthält Preisvereinbarungen, Lieferbedingungen und einen NDA-Passus. Der Einkaufsleiter spart zehn Minuten. Das Unternehmen hat soeben vertragliche Verpflichtungen verletzt — und das weiß niemand. Noch. Nach einem Datenschutzvorfall oder einem Streit mit dem Lieferanten kann genau diese Handlung eine DSGVO-Prüfung auslösen, mit Bußgeldern bis zu vier Prozent des weltweiten Jahresumsatzes. Das ist kein theoretisches Risiko. Das ist die Realität in vielen mittelständischen Unternehmen.
Was die Geschäftsleitung jetzt braucht: eine klare Datenklassifizierung in drei Kategorien. Erstens unkritische Daten — allgemein verfügbare Informationen, interne Texte ohne Personenbezug oder Vertraulichkeit. Diese dürfen in externe Systeme. Zweitens sensible Daten — Kundendaten, Verträge, Finanzinformationen, strategische Planungen. Diese brauchen lokale Modelle oder On-Premise-Lösungen mit klar definierten Nutzungsregeln. Drittens streng vertrauliche Daten — Personalakten, M&A-Informationen, geistiges Eigentum. Diese dürfen ohne explizite rechtliche Prüfung nie in KI-Systeme. Diese Dreiteilung ist keine bürokratische Übung; sie ist die Grundlage für jede weitere Entscheidung.
Der EU AI Act, seit August 2024 in Kraft und mit voller Anwendbarkeit für bestimmte Hochrisiko-Systemklassen ab 2026, verschärft diesen Rahmen weiter. Wer jetzt eine Datenklassifizierung einführt, baut gleichzeitig die Grundlage für spätere Compliance-Anforderungen. Ohne diese Klärung sind alle KI-Investitionen Stochern im Nebel — und alle Compliance-Versprechen Selbstbetrug.
Entscheidung 2: Welche Prozesse werden mit KI verändert — und welche nicht
Nicht jeder Prozess gewinnt durch KI. Manche werden schlechter, weil die KI Halluzinationen produziert, Subtilitäten verliert oder in vertrauenskritischen Momenten das falsche Signal setzt. Andere werden besser, oft drastisch. Wer ohne Differenzierung KI in alles einbaut, produziert beides gleichzeitig — und hat keine Methode, das auseinanderzuhalten.
Hochvolumige, regelbasierte Prozesse sind typischerweise die größten Gewinner. Texterstellung nach Vorlagen, Datenzusammenfassung, Standard-Korrespondenz, Recherche in geregeltem Wissensbestand — hier erzielt KI Produktivitätsgewinne von dreißig bis fünfzig Prozent, wenn die Prüflogik stimmt. Der Schlüssel liegt im letzten Halbsatz: Qualitätssicherung ist nicht der Widerpart von KI-Nutzung, sondern ihre Voraussetzung. KI ohne Prüfschritt ist kein Produktivitätsgewinn, sondern ein Qualitätsrisiko mit schnellen Ergebnissen.
Kreative oder beziehungsbasierte Prozesse verlangen eine andere Haltung: KI als Werkzeug, nicht als Ersatz. Beratung, Verhandlung, Teamführung, Kundenbindung in schwierigen Situationen — KI kann hier strukturieren, vorbereiten, zusammenfassen. Sie kann kein Vertrauen aufbauen, kein Schweigen lesen, keine Beziehung tragen. Wer das vergisst, baut sich Qualitätsprobleme auf, die erst sichtbar werden, wenn Kunden oder Mitarbeiter reagieren. Dann ist die Reputationskorrektur teurer als der gesparte Aufwand je war.
Hochsensible Entscheidungs-Prozesse mit Haftungsrelevanz erfordern eine klare Regel: KI unterstützt, entscheidet aber nie. Rechts- und Finanzentscheidungen, Personalbeurteilungen, sicherheitsrelevante Einschätzungen — KI kann einen ersten Entwurf liefern oder Informationen strukturieren, aber die Entscheidungsverantwortung verbleibt beim Menschen. Das ist keine Vorsichtsmaßnahme. Es ist regulatorisch erforderlich, und es ist der einzige Weg, Haftungsfragen klar zu halten.
Das methodisch saubere Vorgehen für die Auswahl: Beginnen Sie mit einem Piloten in der ersten Kategorie. Definieren Sie vorher, woran Sie Erfolg messen. Führen Sie die KI-unterstützte Variante sechs bis acht Wochen parallel zur bestehenden Praxis durch. Entscheiden Sie dann auf Basis von Ergebnissen, nicht auf Basis von Begeisterung. Das kostet etwas mehr Zeit als ein sofortiger Rollout — und verhindert, dass Sie ein Jahr später einen Rückbau machen, weil die Qualität nicht stimmt und die Mitarbeiter frustriert sind.
Entscheidung 3: Welche Kompetenzen baut die Organisation auf
KI verschiebt Kompetenzen, und zwar in beide Richtungen. Manche Aufgaben werden trivialisiert — Standardrecherche, Texterstellung erster Version, Zusammenfassung von Dokumenten. Andere werden anspruchsvoller: Bewertung von KI-Output, kritische Prüfung, kuratorische Entscheidungen darüber, was weiterverwendet wird und was nicht. Die Geschäftsleitung muss klären, welche Kompetenzen sie wo aufbaut — sonst investiert die Organisation ins Falsche.
Prompt-Engineering und KI-Bewertung sind keine Spezialisten-Kompetenzen, sondern künftige Grundkompetenzen vieler Mitarbeiter. Gemeint ist nicht die Fähigkeit, Modelle zu konfigurieren. Gemeint ist die Fähigkeit, KI-Anfragen präzise zu formulieren und die Ergebnisse einzuschätzen: Ist diese Antwort verlässlich? Wo ist das Modell unsicher? Was muss ich gegenchecken? Diese Einschätzungsfähigkeit trennt in zwei bis drei Jahren leistungsfähige von schwachen Mitarbeitern — unabhängig von Funktion und Hierarchie. Wer heute nicht beginnt, diese Grundkompetenz aufzubauen, schafft eine Lücke, die sich nicht kurzfristig schließen lässt.
Datenkompetenz im weiteren Sinne bedeutet Verstehen, was KI auf welchen Daten produziert — und warum. Warum antwortet ein Modell auf diese Frage so? Wo ist die Antwort wahrscheinlich verlässlich, wo nicht? Was ist Trainingsdaten-Artefakt, was ist echte Analyse? Diese Einschätzungsfähigkeit ist keine IT-Kompetenz, sondern eine analytische. Sie gehört in alle Funktionsbereiche, die KI-Output weiterverarbeiten — und das sind in einem gut eingesetzten KI-Umfeld die meisten.
Kritische Reflexion klingt selbstverständlich. Ist es nicht. In der Praxis sehen wir Mitarbeiter, die KI-Zusammenfassungen ungeprüft in Berichte übernehmen, die KI-Texte ohne Redigieren versenden, die KI-Empfehlungen für bare Münze nehmen, weil das Ergebnis überzeugend formuliert ist. Kritische Reflexion als Kompetenz bedeutet: nicht generelle Skepsis, sondern ein definierter Prüfschritt, der zur Routine wird. Wer hier keine Standards setzt, hat keine Qualitätssicherung — egal wie gute Tools im Einsatz sind.
Diese Kompetenzen entstehen nicht von alleine. Die wirksamste Methode aus meiner Beratungserfahrung: kleine interne Lerngruppen, die reale Anwendungsfälle durcharbeiten und diskutieren, kombiniert mit klaren Qualitätsstandards für KI-Output. Das ist niederschwellig, nah an der Praxis und erzeugt schnell messbare Ergebnisse — ohne teure externe Programme. Zwei bis drei Sitzungen pro Monat, jeweils eine Stunde, reichen aus, um innerhalb eines Quartals spürbare Kompetenzveränderungen zu erzeugen.
Entscheidung 4: Welche Governance braucht KI im Unternehmen
Governance klingt schwerfällig — ist aber genau das, was im Mittelstand fehlt. Drei Bestandteile sind unverzichtbar, und alle drei können in einem mittelständischen Unternehmen in vier bis sechs Wochen etabliert werden, ohne neue Stellen oder externe Zertifizierungen.
Eine KI-Policy. Ein klares Dokument, das festlegt, welche Tools genutzt werden dürfen, welche Daten in welche Systeme gehen, welche Prüfung Output braucht und welche Verantwortung wo liegt. Diese Policy muss kurz sein — maximal drei Seiten — und in den Arbeitsalltag passen. Was nicht lesbar ist, wird nicht gelesen. Was nicht gelesen wird, existiert nicht in der Praxis. Eine wirksame KI-Policy beantwortet fünf Fragen: Welche externen Tools sind freigegeben? Was darf nicht in externe Systeme? Wer haftet, wenn KI-Output fehlerhaft ist und weiterverwendet wurde? Wie wird KI-generierter Inhalt intern gekennzeichnet, wo das relevant ist? Und: Was passiert bei einem Verstoß? Ohne Antworten auf diese Fragen ist das Dokument dekorativ.
Eine verantwortliche Person. Wer ist im Unternehmen für KI-Governance zuständig? Im Mittelstand ist das oft eine Doppelrolle — CTO, IT-Leiter oder Datenschutzbeauftragter mit erweitertem Mandat. Wichtig ist nicht die Funktion, sondern das formale Mandat: Entscheidungsbefugnis über Tool-Freigaben, Budget für Schulungen, klare Eskalationslinie zur Geschäftsleitung. Informelle Koordination ohne Mandat erzeugt Zuständigkeitslücken, die sich beim ersten ernsthaften Vorfall als teuer erweisen. Eine klare Adresse für Fragen und Entscheidungen ist keine Bürokratie — sie ist die Voraussetzung dafür, dass das System funktioniert.
Quartalweise Review. Welche Tools sind tatsächlich im Einsatz? Welche Risiken sind aufgetaucht? Welche Erfolge lassen sich belegen? Diese Routine verhindert das Driften. Konkret: neunzig Minuten pro Quartal, mit der verantwortlichen Person und einem Vertreter der Geschäftsleitung. Agenda: Tool-Inventar aktualisieren, Vorfälle und Beinahe-Fehler auswerten, Policy prüfen und anpassen, nächste Piloten freigeben oder laufende stoppen. Der Rhythmus ist wichtiger als die Länge der Sitzung. Wer KI-Governance nur dann bespricht, wenn etwas schiefgegangen ist, hat keine Governance — er hat Krisenmanagement.
Was nicht funktioniert
Drei Muster, die ich häufig sehe und die KI-Governance systematisch untergraben. Sie kommen selten als bewusste Fehlentscheidung vor, sondern entstehen aus dem Impuls, das Thema zu managen, ohne die eigentliche Grundsatzentscheidung zu treffen.
Pauschalverbote, die niemand einhält. Wer ChatGPT verbietet, ohne Alternativen anzubieten, produziert verdeckte Nutzung mit höherem Risiko. Mitarbeiter nutzen KI weiter — jetzt auf privaten Endgeräten, mit persönlichen Accounts, ohne jeden Unternehmensrahmen. Das Verbot schützt nicht; es macht die Nutzung unsichtbar. Und unsichtbare Nutzung ist unkontrollierbare Nutzung. Der einzige wirksame Weg ist nicht das Verbot, sondern die Gestaltung: Welche Tools sind freigegeben? Wie werden sie sicher genutzt? Wer beantwortet Fragen dazu?
Tool-Wildwuchs ohne Linie. Jede Abteilung kauft eigene KI-Tools, ohne Abstimmung mit anderen Bereichen und ohne Prüfung durch IT oder Datenschutz. Nach zwei Jahren hat das Unternehmen dreißig Tools, doppelte Lizenzkosten, Datenchaos und keine Gesamtübersicht darüber, was mit welchen Daten verbunden ist. Dieser Zustand ist nicht nur teuer — er ist regulatorisch kritisch, sobald sensible Daten in mehreren nicht geprüften Systemen liegen und im Ernstfall nicht rekonstruiert werden kann, was wohin geflossen ist.
Symbolische KI-Initiativen. „Wir sind eine KI-First-Company“ als Positionierung — ohne dass das in der Praxis abgebildet ist. Oder: eine Abteilung erhält Budget für ein KI-Projekt, das bei der nächsten Konferenz präsentiert werden soll, während der Rest des Unternehmens weiter ohne Orientierung und Regeln arbeitet. Diese Lücke zwischen Außendarstellung und interner Realität wird von Mitarbeitern schnell durchschaut. Das Ergebnis: Zynismus gegenüber allen weiteren KI-Ankündigungen der Führung. Vertrauen in Führungskommunikation ist mühsam aufgebaut und schnell verloren.
Was alle drei Muster gemeinsam haben: Sie entstehen aus dem Versuch, KI-Governance zu umgehen, weil das Thema unbequem ist. Pauschalverbote vermeiden die Auseinandersetzung mit der Frage, welche Regeln sinnvoll wären. Tool-Wildwuchs entsteht, weil jede Entscheidung auf die nächste wartet. Und Symbolismus ersetzt Substanz, weil Substanz Verantwortung bedeutet — gegenüber Mitarbeitern, gegenüber Kunden, gegenüber der eigenen Organisation. Der Ausweg ist in allen drei Fällen derselbe: eine klare Entscheidung der Geschäftsleitung, was gilt — und was nicht.
Die KI-Entscheidung als Führungsaufgabe
Es gibt eine Kategorie strategischer Entscheidungen, bei denen mittelständische Geschäftsleitungen strukturell allein gelassen sind. Nachfolge gehört dazu. Restrukturierung. Und jetzt: KI-Strategie. Was diese Themen verbindet: Sie sind zu groß für das Tagesgeschäft, zu komplex für schnelle Urteile, zu folgenreich um aufgeschoben zu werden — und es gibt im Unternehmen selten eine Person, die für diesen Typ von Entscheidung qualifiziert ist und gleichzeitig keine eigenen Interessen mitbringt.
Wer als Inhaber oder Geschäftsleiter entscheidet, welche KI-Governance das Unternehmen braucht, trifft diese Entscheidung typischerweise ohne Board, ohne echtes Sparring, ohne externe Referenz. Interne Kollegen sind abhängig oder beteiligt. Anbieter bringen Tool-Empfehlungen statt Reflexionsfragen. Das Netz der Peers — andere Mittelständler, Verbände, Netzwerke — ist gut für Erfahrungsaustausch, aber kein Ersatz für eine strukturierte Auseinandersetzung mit der eigenen Situation. Die Fragen, die dabei ungestellt bleiben, kosten. Nicht sofort. Aber sie kosten.
Wann externe Begleitung sinnvoll ist
KI-Strategie im Mittelstand ist ein klassisches Thema, bei dem externe Begleitung Mehrwert bringt — nicht weil die Externen die Antworten haben, sondern weil sie die Reflexionsfragen stellen, die intern oft nicht gestellt werden. Oder gestellt werden, aber ohne jemanden, der sie strukturiert beantwortet. Das gilt besonders für Unternehmen, in denen KI noch kein eigenes Ressort hat und die Zuständigkeit zwischen IT, Datenschutz und Geschäftsleitung ungeklärt liegt — was im Mittelstand die Regel ist, nicht die Ausnahme.
Was sinnvolle externe Begleitung bei diesem Thema leistet: keine Tool-Empfehlung, keine Implementierung. Sondern Klarheit darüber, was Ihre konkrete Ausgangslage bedeutet. Welche der vier Entscheidungen ist für Ihr Unternehmen am dringendsten? Wo liegt das größte Risiko, wo die größte Chance? Welche Governance-Struktur passt zu Ihrer Organisationsgröße und Ihrer Ressourcenlage? Wie kommunizieren Sie die Entscheidungen intern, ohne das Thema zu überladen oder zu verharmlosen? Diese Fragen haben keine allgemeinen Antworten. Sie haben Antworten, die zu Ihrem Unternehmen passen — und die sich nur im Gespräch herausarbeiten lassen.
Der Zeitpunkt ist dabei relevant. Wer jetzt eine KI-Governance einführt, tut das in einem Fenster relativer Ruhe — bevor regulatorischer Druck zunimmt, bevor der erste ernsthafte Datenpannen-Fall eintritt, bevor die Mitarbeiter-Frustration über unklare Regeln strukturell wird. Dieses Fenster ist offen. Es schließt sich. Und es macht einen erheblichen Unterschied, ob Sie KI-Governance einführen, weil Sie es für richtig halten, oder weil ein Vorfall Sie dazu zwingt.
Ihr PCG-Vorsprung: Ich begleite Geschäftsleitungen bei der KI-Governance — nicht als Tool-Berater, sondern als strategischer Sparring-Partner. Das Setup: zweitägige Klausur, dann begleitende Reflexion über 6-9 Monate. Mehr zu meiner Strategiebegleitung.
Ihr nächster Schritt
Wenn KI in Ihrem Unternehmen ungeordnet wuchert — vereinbaren Sie ein kostenfreies Erstgespräch. Wir machen in 30 Minuten eine erste Diagnose.
