Kurz gesagt
Ein Corporate LLM ist eine unternehmensinterne KI-Plattform auf Basis großer Sprachmodelle. Beschäftigte nutzen sie über betriebliche Konten, das Unternehmen bestimmt Modell, Ort der Verarbeitung, Rechte und angebundene Wissensquellen. Betrieben wird sie über eine Cloud-API, in einer EU-Cloud-Region oder auf eigener Hardware. Datenschutz, Rechtekonzept und Betriebsrat gehören vor den Start.
Was ist ein Corporate LLM?
Ein Corporate LLM ist eine KI-Plattform, die ein Unternehmen intern für seine Beschäftigten betreibt oder betreiben lässt. LLM steht für Large Language Model, also ein großes Sprachmodell, wie es hinter bekannten Chatbots steckt. Der Unterschied zum privaten Chatbot liegt im Rahmen: betriebliche Konten, festgelegte Modelle, geregelte Datenflüsse und Zugriff auf freigegebenes Firmenwissen.
Der Begriff meint selten ein selbst trainiertes Modell. Meist nutzt die Plattform vorhandene Modelle und verbindet sie mit den Dokumenten und Rechten des Unternehmens. Gebraucht wird sie für Fragen an Handbücher und Richtlinien, Entwürfe für Texte, Zusammenfassungen von Protokollen und als Einstieg in gespeichertes Wissen.
Die Datenschutzkonferenz beschreibt, warum Unternehmen hier Regeln brauchen: Ohne klare Vorgaben bestehe das Risiko, dass Beschäftigte KI-Anwendungen eigenmächtig und unkontrolliert nutzen, und das sei derzeit in vielen Unternehmen Realität. Sie empfiehlt, Beschäftigten betriebliche Geräte und Konten für KI bereitzustellen. Ein Corporate LLM ist eine Antwort darauf. Wo es im Werkzeugkasten des Wissensmanagements steht, zeigt der Leitfaden zur Wissensmanagement-Software.
Welche Betriebsmodelle gibt es für ein Corporate LLM?
Die Plattform selbst, also Oberfläche, Konten und Rechte, kann bei Ihnen oder einem Dienstleister laufen. Entscheidend für Datenschutz und Kosten ist, wo das Sprachmodell die Eingaben verarbeitet. Die Tabelle zeigt drei Betriebsmodelle.
Ein Beispiel für EU-Hosting: Microsoft schreibt zu seinen in Azure angebotenen Modellen, dass bei einer Bereitstellung vom Typ DataZone in einem EU-Mitgliedstaat Eingaben und Antworten in diesem oder einem anderen EU-Mitgliedstaat verarbeitet werden können. Eingaben und Antworten würden nicht zum Training der Basismodelle verwendet (Stand laut Anbieter, November 2026).
Für den Eigenbetrieb nennt das BSI eine Frage, die früh auf den Tisch gehört: Welche Rechen- und Speicherkapazitäten sind für den Eigenbetrieb notwendig? Mehr zum Betrieb auf eigenen Servern erklärt die Schwesterseite zu lokaler KI.
| Betriebsmodell | Wo das Modell verarbeitet | Was Sie prüfen |
|---|---|---|
| Cloud-API beim Modellanbieter | In Rechenzentren des Anbieters, je nach Vertrag auch außerhalb der EU | Vertrag nach Art. 28 DSGVO, Drittlandübermittlung nach Kapitel V, Ausschluss des Trainings |
| EU-Hosting | In einer Cloud-Region innerhalb der EU, bei einem Cloud- oder Plattformanbieter | Zugesicherte Region, Unterauftragsverarbeiter, Speicherung zur Missbrauchsüberwachung |
| Eigene Hardware | Auf Servern im eigenen Rechenzentrum oder in gemieteten, eigenen Systemen | Rechenleistung, Betrieb und Updates, Qualität der frei verfügbaren Modelle |
Was gilt beim Datenschutz für ein Corporate LLM?
Setzt ein Unternehmen eine KI-Anwendung eines externen Anbieters ein, etwa als Cloud-Lösung, besteht laut Datenschutzkonferenz häufig ein Auftragsverarbeitungsverhältnis. Dann ist ein Vertrag nach Art. 28 Abs. 3 DSGVO abzuschließen. Wer die Anwendung ausschließlich zu eigenen Zwecken auf eigenen Servern betreibt, ist in der Regel alleiniger Verantwortlicher.
Die DSK hält technisch geschlossene Systeme für vorzugswürdig, in denen Ein- und Ausgaben nicht zum weiteren Training des Anbieters verwendet werden. Ist ein Ausschluss des Trainings nicht möglich und sind personenbezogene Daten betroffen, braucht es dafür eine eigene Rechtsgrundlage. Bei offenen Systemen weist die DSK auf mögliche Übermittlungen in Drittstaaten hin, für die Kapitel V der DSGVO gilt.
Vor dem Start steht eine Vorabprüfung des Risikos. Ergibt sie ein voraussichtlich hohes Risiko, ist eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich, was beim Einsatz von KI-Anwendungen laut DSK vielfach der Fall sein wird. Dafür brauchen Sie Informationen des Anbieters zur Funktionsweise. Mehr zum Datenschutz je Werkzeug finden Sie unter KI-Datenschutz.
- Konten ohne Klarnamen anlegen, wo es die Anwendung erlaubt, wie es die DSK anregt.
- Training mit Eingaben bei Inbetriebnahme jedes Kontos ausschalten.
- Speicherung der Eingabe-Historie transparent machen und den Beschäftigten die Wahl lassen.
- Ort der Verarbeitung und Speicherung zur Missbrauchsüberwachung schriftlich klären.
Wie regeln Sie Rechte, Protokolle und Mitbestimmung?
Ein Corporate LLM soll jeder Person nur die Inhalte zeigen, die sie auch sonst sehen darf. Das BSI empfiehlt, genau zu prüfen, wer auf welche Informationen zugreifen darf, und das über ein Rechte- und Rollenkonzept in der Suche umzusetzen. Von einer Umsetzung über textuelle Anweisungen an das Modell rät das BSI ab, weil diese angreifbar sind.
Protokolle sind nützlich für Sicherheit und Qualität, betreffen aber die Beschäftigten. Nach § 87 Abs. 1 Nr. 6 BetrVG bestimmt der Betriebsrat mit bei technischen Einrichtungen, die dazu bestimmt sind, Verhalten oder Leistung zu überwachen. Nach § 90 Abs. 1 Nr. 3 BetrVG ist er über die Planung von Arbeitsabläufen einschließlich des Einsatzes von Künstlicher Intelligenz rechtzeitig zu unterrichten. Die DSK empfiehlt eine Dienst- oder Betriebsvereinbarung.
Hinzu kommt die KI-Verordnung. Nach Art. 4 ergreifen Anbieter und Betreiber von KI-Systemen Maßnahmen zur KI-Kompetenz ihres Personals; die Bundesnetzagentur weist darauf hin, dass Art. 4 durch den KI-Omnibus geändert wurde. Den aktuellen Stand erklärt die Seite zur KI-Verordnung.
Das ist keine Rechtsberatung. Klären Sie Mitbestimmung und Datenschutz mit Ihrer Rechtsberatung, dem Datenschutzbeauftragten und dem Betriebsrat.
Wie wird Firmenwissen an ein Corporate LLM angebunden?
Das Sprachmodell kennt Ihre Handbücher nicht. Damit es Fragen zu Firmenwissen beantworten kann, wird meist Retrieval-Augmented Generation eingesetzt. Das BSI beschreibt es so: Relevante Informationen werden in einer Wissensdatenbank gesucht und zusammen mit der Eingabe an das Modell übergeben, ohne dass diese Inhalte vorher Trainingsmaterial waren. Die Antwort kann zeigen, auf welchen Textauszügen sie beruht. Technische Details stehen auf der Schwesterseite zu RAG.
Das BSI nennt dabei ein eigenes Risiko: Falsche oder manipulierte Dokumente in der Wissensbasis wirken direkt auf die Antworten. Die Qualität eines Corporate LLM hängt deshalb an der Pflege der Quellen. Wie Sie eine solche Basis Schritt für Schritt anlegen, zeigt der Leitfaden Wissensdatenbank aufbauen.
Erfahrungswissen, das nur in Köpfen steckt, erreicht die Plattform erst, wenn es aufgeschrieben oder in Gesprächen festgehalten wird. Methoden dafür beschreibt der Leitfaden zum Wissenstransfer.
Nach welchen Kriterien wählen Sie ein Corporate LLM aus?
Das BSI empfiehlt, für die Auswahl eines Modells und seines Betreibers eigene Kriterien zu erarbeiten. Die Tabelle verbindet Fragen aus der BSI-Liste mit den Anforderungen der Datenschutzkonferenz. Wie Sie Werkzeuge mit eigenen Testfragen vergleichen, zeigt der Vergleich der Wissensmanagement-Tools.
| Kriterium | Prüffrage |
|---|---|
| Modelle | Welche Modelle stehen zur Wahl, wie wird versioniert, und lässt sich das Modell wechseln? |
| Ort der Verarbeitung | Wo werden Eingaben verarbeitet und gespeichert, auch bei Lastspitzen und für die Missbrauchsüberwachung? |
| Training | Werden Ein- und Ausgaben zum Training genutzt, und lässt sich das ausschließen? |
| Rechte | Übernimmt die Plattform bestehende Gruppen und Freigaben, auch für angebundene Dokumente? |
| Fundstellen | Zeigt jede Antwort, auf welchen Textauszügen sie beruht? |
| Halluzinationen | Welche Maßnahmen gegen falsche Antworten hat der Anbieter getroffen, und welche Restrisiken bleiben? |
| Unterlagen | Liefert der Anbieter Informationen zur Funktionsweise für die Datenschutz-Folgenabschätzung? |
| Eigenbetrieb | Welche Rechen- und Speicherkapazitäten wären nötig, falls Sie später selbst betreiben? |
Wie starten Sie mit einem Corporate LLM?
Ein Beispiel zur Orientierung: Ein Großhändler beginnt mit dem Innendienst. Angebunden werden zuerst Produktdatenblätter und die Richtlinie für Reklamationen, beides mit klaren Verantwortlichen. Nach vier Wochen wird ausgewertet, welche Fragen unbeantwortet blieben.
Zwecke festlegen
Erlaubte und untersagte Einsatzszenarien mit Beispielen schriftlich regeln, wie es die DSK empfiehlt.
Betriebsmodell wählen
Cloud-API, EU-Hosting oder eigene Hardware nach Schutzbedarf der Daten und eigenem IT-Personal entscheiden.
Recht klären
Vertrag nach Art. 28 DSGVO, Vorabprüfung des Risikos, Betriebsrat und Schulung der Beschäftigten.
Wissen anbinden
Mit wenigen gepflegten Quellen und bestehenden Rechten starten, nicht mit dem gesamten Laufwerk.
Auswerten und erweitern
Unbeantwortete Fragen sammeln, Quellen nachziehen und weitere Bereiche anschließen.
Eine mögliche Plattform für ein Corporate LLM ist corporatellm.de. Prüfen Sie sie wie jeden anderen Anbieter anhand der Kriterien oben. Den Gesamtrahmen beschreibt die Startseite zum KI-Wissensmanagement, und wenn Sie Ihre Ausgangslage durchgehen möchten: Wissensmanagement für Ihr Unternehmen besprechen.
Häufige Fragen
Was ist ein Corporate LLM?
Eine unternehmensinterne KI-Plattform auf Basis großer Sprachmodelle. Das Unternehmen legt Modelle, Ort der Verarbeitung, Rechte und angebundene Wissensquellen fest, die Beschäftigten nutzen sie über betriebliche Konten.
Muss ein Corporate LLM auf eigenen Servern laufen?
Nein. Möglich sind auch eine Cloud-API und EU-Hosting. Wer auf eigenen Servern betreibt, ist laut DSK in der Regel alleiniger Verantwortlicher; bei externen Anbietern braucht es meist einen Vertrag nach Art. 28 DSGVO.
Werden meine Eingaben zum Training verwendet?
Das hängt vom Anbieter und Vertrag ab. Die DSK hält Anwendungen für vorzugswürdig, die Ein- und Ausgaben nicht zum Training verwenden. Lassen Sie sich den Ausschluss schriftlich bestätigen und prüfen Sie die Einstellungen.
Braucht ein Corporate LLM eine Datenschutz-Folgenabschätzung?
Wenn die Vorabprüfung ein voraussichtlich hohes Risiko ergibt, ja, nach Art. 35 DSGVO. Die DSK schreibt, dass dies beim Einsatz von KI-Anwendungen vielfach der Fall sein wird.
Ist ein Corporate LLM dasselbe wie eine KI-Wissensdatenbank?
Nicht ganz. Die KI-Wissensdatenbank ist der Teil, der Firmenwissen durchsuchbar macht. Ein Corporate LLM ist die Plattform darum, mit Konten, Modellen, Regeln und weiteren Aufgaben wie Entwürfen oder Zusammenfassungen.
Quellen
- Orientierungshilfe Künstliche Intelligenz und Datenschutz, Version 1.0 vom 6. Mai 2024, Datenschutzkonferenz (DSK)
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Risiko R18 und Maßnahmen M1 und M14, BSI
- Datenschutz-Grundverordnung, Bundesdatenschutzgesetz, Thüringer Datenschutzgesetz: Textausgabe (Art. 28, 35, 44 DSGVO), Stand Mai 2024, Thüringer Landesbeauftragter für den Datenschutz und die Informationsfreiheit
- Daten, Datenschutz und Sicherheit für von Azure verkaufte Modelle in Microsoft Foundry, Microsoft Learn
- § 87 Betriebsverfassungsgesetz: Mitbestimmungsrechte, Bundesministerium der Justiz, Gesetze im Internet
- § 90 Betriebsverfassungsgesetz: Unterrichtungs- und Beratungsrechte, Bundesministerium der Justiz, Gesetze im Internet
- KI-Kompetenz nach Art. 4 KI-Verordnung, Bundesnetzagentur