KI-Strategie für den Mittelstand entwickeln — Praxis-Leitfaden 2026

Mehr als die Hälfte der deutschen mittelständischen Unternehmen setzen 2026 in irgendeiner Form KI-Werkzeuge ein — vom Copilot-Lizenz-Rollout bis zu produktiven Vorhersage-Modellen in Produktion und Vertrieb. Wer keinen schriftlich verankerten Strategie-Rahmen hat, betreibt das Thema reaktiv: Lizenzkosten wachsen unkontrolliert, Fachbereiche kaufen Schatten-KI ein, vertrauliche Daten landen in Public-Cloud-Modellen, und am Ende des Geschäftsjahrs lässt sich nicht beziffern, was die Investitionen eingespielt haben. Dieser Leitfaden zeigt, wie ein mittelständisches Unternehmen eine belastbare KI-Strategie entwickelt — von der Vision über Use-Case-Discovery und Build-vs-Buy-Entscheidung bis zum KPI-Framework und einer konkreten 90-Tage-Roadmap. Für die Einordnung in das Gesamt-Thema siehe unseren KI-Guide für den Mittelstand.

Warum eine KI-Strategie 2026 Pflicht ist

Drei Entwicklungen machen eine schriftliche KI-Strategie 2026 zur Geschäftsführungs-Aufgabe. Erstens die regulatorische Lage: der EU AI Act ist seit August 2024 in Kraft, die Verbots-Tatbestände gelten seit Februar 2025, die Pflichten für Allzweck-KI-Modelle seit August 2025, und die volle Hochrisiko-Regulierung tritt im August 2027 in Kraft. Wer Hochrisiko-Anwendungen ohne dokumentierte Risiko-Klassifizierung, Konformitäts-Bewertung und technische Dokumentation betreibt, riskiert Bußgelder von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes — die höchsten Sanktionssätze, die das EU-Recht aktuell kennt. Detaillierter im EU-AI-Act-Cluster.

Zweitens die Kosten-Entwicklung. KI-Lizenzen sind 2025 und 2026 deutlich teurer geworden, gleichzeitig haben Microsoft, Google und Anthropic die Pro-Sitz-Preise wiederholt angehoben. Ohne Strategie wachsen die Kosten ungesteuert — wir sehen in Audits regelmäßig Unternehmen mit 200 bis 400 Mitarbeitenden, die über drei Geschäftsbereiche verteilt zwischen 80.000 und 220.000 Euro pro Jahr für teilweise überlappende KI-Lizenzen ausgeben, ohne den tatsächlichen Geschäftsnutzen zu beziffern. Eine Strategie schafft Kosten-Transparenz und Verhandlungsmacht gegenüber Anbietern.

Drittens der Wettbewerb. Mittelständische Unternehmen, die KI strukturiert einführen, gewinnen in Vertrieb und Service zwischen 8 und 22 Prozent Bearbeitungszeit zurück, je nach Geschäftsmodell. Diese Zeit fließt in Akquise, Beratung und Margen-Verbesserung. Wer hier zwei bis drei Jahre verliert, holt den Abstand zum Wettbewerb operativ kaum mehr auf. Eine Strategie ist deshalb kein Innovations-Luxus, sondern Wettbewerbs-Voraussetzung.

Eine Strategie heißt nicht „PowerPoint-Foliensatz für den Beirat“. Eine belastbare KI-Strategie ist ein 15- bis 30-seitiges Dokument mit fünf konkreten Bausteinen, einer priorisierten Use-Case-Pipeline, einem Investitions-Rahmen über drei Jahre, einer Governance-Struktur und einer 90-Tage-Roadmap für die erste Umsetzungs-Welle. Sie wird vom Vorstand beziehungsweise der Geschäftsführung verabschiedet und mindestens halbjährlich überprüft.

Die fünf Bausteine einer Mittelstands-KI-Strategie

Aus über 30 Strategie-Begleitungen in den letzten zwei Jahren haben wir fünf Bausteine destilliert, die jede tragfähige Mittelstands-KI-Strategie enthalten muss. Wer einen davon weglässt, baut auf Sand.

• Vision und AmbitionsniveauEin klarer Satz, was KI im Unternehmen leisten soll und was nicht. Beispiel: „Wir nutzen KI zur Automatisierung wiederkehrender Bürotätigkeiten und zur Vertriebs-Unterstützung, nicht zur autonomen Entscheidung in Personal- oder Kreditfragen.“ Diese Abgrenzung steuert spätere Use-Case-Auswahl und schließt regulatorisch heikle Bereiche von vornherein aus.
• Priorisierte Use-Case-PipelineEine geordnete Liste von 8 bis 15 Use-Cases mit Aufwand, erwartetem Nutzen, Datenverfügbarkeit und Risiko-Klassifikation nach EU AI Act. Die Pipeline wird quartalsweise überprüft. Ohne Pipeline entstehen Schatten-Initiativen in jedem Fachbereich.
• DatenbasisEine ehrliche Bewertung des Daten-Reifegrads: welche Daten existieren strukturiert, welche liegen in PDFs und E-Mails, welche dürfen aus Datenschutz- und Vertraulichkeits-Sicht überhaupt für KI verwendet werden. Ohne diese Bewertung scheitert jeder Use-Case, der über reine Chatbot-Wrapper hinausgeht.
• Tooling-ArchitekturEine Entscheidung über die Werkzeug-Landschaft: welche Standard-Plattformen (Microsoft Copilot, Google Workspace mit Gemini, ChatGPT Enterprise, Claude for Work), welche Spezial-Werkzeuge pro Fachbereich, welche eigene Entwicklung. Inklusive einer Antwort auf die Frage, wo Modelle physisch laufen — EU-Region, Inhouse, Hyperscaler.
• Governance und VerantwortlichkeitenWer entscheidet über neue Use-Cases, wer klassifiziert Risiken, wer betreibt das Modell-Inventar, wer schult, wer auditiert. In mittelständischen Unternehmen ist das typischerweise eine vier- bis sechsköpfige AI-Steering-Runde mit Geschäftsführung, IT-Leitung, Datenschutzbeauftragter, einer Fachbereichs-Vertretung und einer technischen KI-Verantwortung.

Diese fünf Bausteine müssen aufeinander aufbauen. Eine Vision ohne Use-Cases bleibt Marketing; Use-Cases ohne Datenbasis sind PowerPoint-Träume; Tooling ohne Governance produziert Schatten-IT; Governance ohne Vision wird zur Bremse.

Use-Case-Discovery — wie findet man die richtigen Pilot-Projekte

Die häufigste Frage in der ersten Strategie-Sitzung lautet: „Wo fangen wir an?“ Falsche Antworten sind „Wir machen einen Chatbot“ und „Wir extrahieren Daten aus Rechnungen“ — beide sind Beispiele, die in Konferenzen vorgetragen wurden, ohne dass jemand die spezifischen Probleme des eigenen Unternehmens analysiert hat. Richtige Antworten ergeben sich aus einem strukturierten Discovery-Prozess.

Wir arbeiten in der Praxis mit einem dreistufigen Vorgehen. In einer ersten Erhebung sammeln wir Use-Case-Ideen über strukturierte Interviews mit allen Fachbereichs-Leitungen — typischerweise 40 bis 80 Ideen in einem mittelständischen Unternehmen. In einer Bewertungs-Runde werden die Ideen auf drei Achsen bewertet: Geschäftsnutzen pro Jahr in Euro, Aufwand bis zum produktiven Einsatz in Personenmonaten, Datenverfügbarkeit und Risiko-Klassifikation. In einer Priorisierungs-Runde wählt das AI-Steering die 8 bis 15 stärksten Kandidaten aus und ordnet sie in eine 24-Monats-Roadmap ein.

Aus Erfahrung sind die wertvollsten Use-Cases im Mittelstand fast nie die spektakulären, sondern die langweiligen: automatische Beantwortung wiederkehrender Service-Anfragen, semantische Suche in internen Wissens-Beständen, Vorbereitung von Vertriebs-Calls auf Basis öffentlicher Informationen, Code-Unterstützung in der Entwicklungs-Abteilung, Transkription und Zusammenfassung von Meetings, Risiko-Klassifikation eingehender Verträge. Jeder dieser Use-Cases spart in einem mittelständischen Unternehmen typischerweise zwischen 20.000 und 200.000 Euro pro Jahr, hat überschaubares Risiko und ist innerhalb von drei bis sechs Monaten produktiv.

Build vs Buy vs Hybrid

Eine der teuersten Entscheidungen in der Strategie ist die zwischen Build, Buy und Hybrid. Die meisten mittelständischen Unternehmen entscheiden sich für die falsche Variante, weil sie entweder Build überschätzen („Wir bauen unser eigenes Modell“) oder Buy unterschätzen („Wir nehmen einfach das Standard-Tool“). Die folgende Tabelle ordnet die drei Modelle ein.

Modell	Wann sinnvoll	Risiken	Typische Kosten/Jahr
Buy — Standard-Plattform	Generische Anwendungsfälle ohne Wettbewerbs-Differenzierung, hoher Time-to-Value, geringe Datenkritikalität	Vendor-Lock-in, Preis-Erhöhungen, Datenabfluss zu Anbieter	30 – 80 € pro Mitarbeitenden pro Monat
Build — eigene Lösung	Wettbewerbs-differenzierender Use-Case, vertrauliche Trainingsdaten, vorhandene MLOps-Kompetenz	Hoher Initialaufwand, laufender Betriebsaufwand, Skill-Risiko bei Personal-Fluktuation	120.000 – 600.000 € Initialaufwand plus Betrieb
Hybrid — Standard plus eigene Schicht	Standard-Modell als Basis, eigene Geschäftslogik, Retrieval-Augmented Generation auf eigenen Daten	Architektur-Komplexität, Update-Risiko bei Modell-Wechsel	40.000 – 180.000 € pro Jahr plus Lizenzkosten

Für 80 bis 90 Prozent der Anwendungen im Mittelstand ist das Hybrid-Modell die wirtschaftlich richtige Antwort. Standard-Modelle von Anthropic, OpenAI oder Mistral werden über API angebunden, eigene Daten werden über einen Retrieval-Layer eingebunden, die Geschäftslogik liegt in eigener Hand. Eigenes Modell-Training lohnt sich praktisch nur in zwei Fällen: bei sehr großen, hochspezifischen Datenmengen mit Wettbewerbs-Differenzierung, oder bei Anwendungen, die in einer geschlossenen Umgebung ohne Cloud-Anbindung laufen müssen.

KPI-Framework: Wie messen wir KI-Erfolg

Ohne Messung wird KI-Strategie zur Glaubensfrage. Wir empfehlen ein dreischichtiges KPI-Modell, das Geschäfts-, Adoptions- und Governance-Ebene gemeinsam abbildet.

Ebene	KPI	Zielrichtung	Berichts-Frequenz
Geschäft	Geschäftsnutzen pro Use-Case in Euro	Use-Case-spezifisch — Umsatz, Marge, Bearbeitungszeit	quartalsweise
Geschäft	Gesamtinvestitions-Rendite KI-Portfolio	positiver Saldo nach 18 Monaten	halbjährlich
Adoption	Anteil aktiver Nutzer pro Werkzeug	über 50 % der lizenzierten Sitze nach 6 Monaten	monatlich
Adoption	Anzahl produktiver Use-Cases	plus 3 bis 5 pro Jahr nach Startphase	quartalsweise
Governance	Risiko-Klassifikation aller Systeme	100 % der produktiven Systeme klassifiziert	quartalsweise
Governance	Reaktionszeit auf KI-Vorfälle	unter 24 Stunden Bestätigung, unter 5 Tage Lösung	laufend

Die Geschäfts-KPIs müssen pro Use-Case definiert werden, bevor die Umsetzung startet. Wer ein KI-Werkzeug einführt, ohne vorher zu definieren, was Erfolg bedeutet, kann nach zwölf Monaten weder Verlängerung noch Abschaltung sauber begründen. Aus Praxis-Erfahrung: drei harte Geschäftsnutzen-Kennzahlen pro Use-Case sind ausreichend; mehr verwässert die Bewertung.

Typische Fehler in Strategien

Bevor wir das eigene Vorgehen vertiefen, lohnt der Blick auf die häufigsten Fehler. Wir sehen sie in jedem zweiten Audit-Mandat.

Hype-getrieben statt problem-getrieben. Eine Strategie startet mit der Lösung („Wir machen Chatbots“) statt mit dem Problem („Unser Service ist mit Standard-Anfragen überlastet, Reaktionszeit über 48 Stunden“). Hype-getriebene Strategien identifizieren sich daran, dass die Use-Case-Liste sich liest wie ein Konferenz-Programm. Heilmittel: jeder Use-Case wird mit einer klaren Problem-Beschreibung und einem messbaren Ist-Zustand dokumentiert.

Top-Down ohne Fachbereichs-Anker. Geschäftsführung und IT-Abteilung definieren Use-Cases im Elfenbeinturm, der Fachbereich erfährt erst bei der Schulung von der Einführung. Diese Konstellation produziert Werkzeuge, die niemand nutzt. Heilmittel: jede Use-Case-Idee braucht einen Fachbereichs-Sponsor mit Budget-Verantwortung, der den Erfolg persönlich beziffert.

Vendor-Lock-in ohne Exit-Pfad. Strategische Entscheidung für einen einzigen Anbieter, ohne abstraktion der Modell-Aufrufe und ohne Plan für einen Wechsel. Wenn der Anbieter die Preise verdoppelt oder ein zentrales Feature abkündigt, sitzt das Unternehmen fest. Heilmittel: eine Abstraktions-Schicht zwischen Anwendung und Modell-Anbieter, eine dokumentierte Zweit-Option pro Use-Case, vertragliche Exit-Klauseln.

Kein Daten-Reifegrad-Check. Strategie verspricht Vorhersage-Modelle, aber die Daten liegen in Excel-Tabellen auf Netzlaufwerken oder in PDF-Anhängen. Heilmittel: vor jedem datenintensiven Use-Case eine ehrliche Bewertung der Daten-Verfügbarkeit und der Daten-Qualität, gegebenenfalls ein vorgelagerter Daten-Konsolidierungs-Aufwand.

Governance und Compliance: EU AI Act, DSGVO, interne Richtlinien

Governance ist der Baustein, an dem mittelständische Strategien am häufigsten dünn sind. Das ist verständlich — Governance erzeugt keinen sichtbaren Geschäftsnutzen, sondern verhindert Schaden. Sie ist trotzdem nicht verhandelbar, weil EU AI Act, DSGVO, Lieferanten-Audits und Cyber-Versicherungen 2026 nachweisbare Governance erwarten.

Das Pflicht-Programm umfasst sechs Elemente. Erstens eine schriftliche KI-Richtlinie für alle Mitarbeitenden, die klärt, welche Werkzeuge erlaubt sind, welche Daten eingegeben werden dürfen und wo die Grenzen liegen. Zweitens ein Modell-Inventar, das alle produktiv eingesetzten KI-Systeme mit Anbieter, Anwendungsfall, Risiko-Klassifikation und Verantwortlicher Person dokumentiert. Drittens ein Klassifizierungs-Prozess für neue Use-Cases, der vor Beginn der Entwicklung das EU-AI-Act-Risiko bewertet. Viertens eine Datenschutz-Folgenabschätzung für jeden Use-Case mit personenbezogenen Daten gemäß Artikel 35 DSGVO.

Fünftens ein Schulungs-Konzept: der EU AI Act verlangt seit Februar 2025 von allen Betreibern von KI-Systemen, dass ihre Beschäftigten über ausreichende KI-Kompetenz verfügen — dieser Artikel 4 wird oft übersehen, ist aber bußgeldbewehrt. Sechstens ein Vorfall-Management mit definierter Eskalations-Kette für Modell-Fehler, Datenpannen und Halluzinations-Schäden.

In der Praxis lassen sich diese sechs Elemente in einem 20-seitigen Governance-Handbuch unterbringen, das die AI-Steering-Runde verabschiedet und mindestens jährlich überarbeitet. Wer hier ein 200-seitiges Konstrukt baut, produziert Papier, das niemand liest.

90-Tage-Roadmap

Eine Strategie ist nichts wert, wenn sie nicht in konkrete Wochen-Pakete übersetzt wird. Die folgende Roadmap zeigt einen typischen 90-Tage-Plan für die erste Strategie-Umsetzung. Sie ist als Orientierung gedacht, jedes Unternehmen passt sie an Branche, Größe und Reifegrad an. Vertiefend hierzu unser Cluster KI-Roadmap 90 Tage.

Zeitraum	Arbeitspaket	Ergebnis
Woche 1–2	AI-Steering einberufen, Vision und Ambitionsniveau verabschieden, externe Beratung onboarden	Vision-Statement und Steering-Charta
Woche 3–5	Use-Case-Erhebung in allen Fachbereichen, strukturierte Interviews mit Bereichsleitungen	40–80 Use-Case-Ideen mit Erst-Bewertung
Woche 5–7	Daten-Reifegrad-Check, Tooling-Bestandsaufnahme, Schatten-KI-Inventar	Daten- und Tooling-Reifegrad-Report
Woche 6–8	EU-AI-Act-Klassifizierung aller Top-Ideen, DSGVO-Vorprüfung	Risiko-klassifizierte Use-Case-Liste
Woche 8–10	Priorisierung im Steering, Auswahl von 2 bis 3 Piloten, Budget-Freigabe	Verabschiedete 24-Monats-Roadmap
Woche 9–11	Governance-Handbuch entwerfen, KI-Richtlinie für Belegschaft formulieren	Governance-Handbuch Version 1
Woche 10–12	Pilot-Projekte starten, Schulungs-Konzept ausrollen, Vendor-Verträge unterzeichnen	Erste Piloten in Umsetzung, Schulungs-Plan in Roll-out
Woche 12–13	Erste Erfolgs-Messung, Kommunikation an Belegschaft und Beirat, Nach-Justierung der Roadmap	Steering-Bericht 90 Tage, freigegebene Folgeschritte

Drei bis fünf Personen aus dem AI-Steering arbeiten in diesen 90 Tagen mit jeweils 20 bis 40 Prozent ihrer Kapazität. Externe Beratung bringt typischerweise 20 bis 40 Beratungs-Tage über das Quartal ein. Investiv landen die meisten Mittelständler in einem Bereich von 60.000 bis 180.000 Euro für die 90-Tage-Strategie inklusive Pilot-Lizenzen — abhängig von Größe und Beratungstiefe. Eine ehrliche Roadmap kalkuliert diese Zahlen vorab und nicht im Nachhinein.

Wie Reepa Solutions Mittelständler bei der KI-Strategie begleitet

Reepa Solutions begleitet mittelständische Unternehmen seit 2023 bei KI-Strategien. Unser Ansatz unterscheidet sich von klassischen Beratungs-Häusern in drei Punkten. Erstens arbeiten wir technologie-neutral — wir verkaufen keine Vendor-Lizenzen weiter und haben keine Anreize, ein Tool durchzudrücken. Zweitens arbeiten wir hands-on — wir bauen den ersten Piloten in der Regel selbst mit auf, statt nur Foliensätze zu produzieren. Drittens haben wir aus dem eigenen Cybersecurity-Geschäft tiefes Wissen über die regulatorische Lage, das in die Governance-Bausteine direkt einfließt.

Unser typisches Strategie-Mandat dauert 10 bis 14 Wochen. Es startet mit einer zweitägigen Diagnose-Phase, in der wir mit Geschäftsführung und Fachbereichs-Leitungen sprechen, bestehende Initiativen kartieren und einen Reifegrad-Bericht liefern. Danach folgen 8 bis 10 Wochen begleitete Strategie-Entwicklung mit wöchentlichen Steering-Runden. Am Ende stehen ein verabschiedetes Strategie-Dokument, eine 24-Monats-Roadmap, ein Governance-Handbuch und mindestens ein Pilot-Projekt in Umsetzung. Investiv liegt ein solches Mandat im Mittelstand typischerweise zwischen 35.000 und 90.000 Euro Beratungs-Aufwand, abhängig von Größe und Komplexität. Die Kosten der Werkzeug-Lizenzen und der Pilot-Umsetzung kommen separat hinzu. Detailliert zu den Kosten siehe KI-Kosten und ROI berechnen.

Häufige Fragen