Kurz gesagt: Ja, ein Betrieb kann eine KI lokal betreiben, auf einem eigenen Rechner oder Server im Haus. Dann bleiben Ihre Fragen und Unterlagen im Betrieb und gehen nicht an einen Anbieter wie OpenAI. Entscheidend für die Hardware ist der Speicher der Grafikkarte. Das Sprachmodell sollte vollständig hineinpassen, sonst antwortet es deutlich langsamer. Ein Modell mit 14 Milliarden Parametern braucht in einer verbreiteten, verkleinerten Fassung knapp 10 GB davon. Dafür reicht ein gut ausgestatteter Arbeitsplatzrechner. Ein Modell dieser Größe kommt nicht an die großen Modelle bei ChatGPT heran. Für Antworten aus Ihren eigenen Unterlagen genügt es oft.
Was „lokal“ bedeutet
Wenn Sie ChatGPT oder einen ähnlichen Dienst nutzen, läuft das Sprachmodell auf den Servern des Anbieters. Alles, was Sie eintippen oder hochladen, geht dorthin. Bei einer lokalen KI läuft das Modell auf einem Rechner, der in Ihrem Betrieb steht. Die Fragen Ihrer Mitarbeiter und die Dokumente, aus denen die KI antwortet, verlassen das Haus nicht.
Ganz ohne Internet geht es trotzdem nicht. Das Modell laden Sie einmal herunter, und die Programme brauchen hin und wieder ein Update. Im laufenden Betrieb braucht die KI aber keine Verbindung nach außen.
Welche Hardware Sie für eine lokale KI brauchen
Ein Sprachmodell rechnet am schnellsten auf der Grafikkarte. Damit das klappt, muss das ganze Modell in den Speicher der Grafikkarte passen. Wie viel Speicher ein Modell braucht, hängt von seiner Größe ab, gemessen in Milliarden Parametern, und davon, wie stark es verkleinert wurde. Verkleinerte Fassungen sind üblich und für den Alltag meist gut genug.
Nehmen Sie das Modell mit 14 Milliarden Parametern von oben. Als Datei ist es rund 9 GB groß, geladen belegt es knapp 10 GB und passt damit vollständig auf eine Grafikkarte mit 16 GB Speicher. Das gilt für die Grundeinstellung des Programms Ollama, in der das Modell nur ein kurzes Stück Text auf einmal verarbeitet. Soll es lange Dokumente am Stück lesen, braucht es spürbar mehr Speicher. Passt ein Modell nicht vollständig hinein, rechnet ein Teil auf dem Prozessor, und die Antworten kommen deutlich langsamer.
Für den Anfang reicht deshalb oft ein Arbeitsplatzrechner mit einer starken Grafikkarte. Sollen viele Mitarbeiter gleichzeitig fragen, wird ein eigener Server sinnvoll. Die nötige Software gibt es für Windows, macOS und Linux. Ollama zum Beispiel ist kostenlos und quelloffen.
Welche Modelle in Frage kommen
Mehrere Hersteller veröffentlichen ihre Modelle zum Herunterladen, darunter Alibaba mit Qwen, Meta mit Llama und Mistral aus Frankreich. Die Lizenzen unterscheiden sich. Prüfen Sie vor dem Einsatz, ob die gewerbliche Nutzung erlaubt ist und unter welchen Bedingungen.
Ein größeres Modell antwortet meist besser, braucht aber mehr Speicher und rechnet langsamer. Welches Modell für Ihre Aufgabe ausreicht, zeigt am zuverlässigsten ein Test mit echten Fragen aus Ihrem Betrieb.
Was lokal gut geht und was nicht
Gut geeignet ist eine lokale KI für Aufgaben, bei denen die Antwort in Ihren eigenen Unterlagen steht, etwa um Betriebsanleitungen zu durchsuchen oder Fragen zu einzelnen Abschnitten eines Dokuments zu beantworten. Wie man so eine Wissensbasis aufbaut, beschreibt der Artikel zur KI-Wissensdatenbank im Anlagenbau. Dort steht auch, warum Sie ein Modell dafür nicht trainieren müssen.
Schwächer ist ein lokales Modell dieser Größe bei langen, verschachtelten Aufgaben und bei Allgemeinwissen. Wer im Büro vor allem Texte formuliert oder Ideen sammelt, ist mit einem Cloud-Dienst oft besser bedient, solange keine vertraulichen Daten hineingehören.
Was im Haus bleibt
Für viele Anlagen- und Maschinenbauer ist der wichtigste Grund für eine lokale KI der Schutz der eigenen Kalkulationen und Zeichnungen. Wer sie bei einem Cloud-Dienst hochlädt, gibt sie aus der Hand. Was der Anbieter damit tun darf, regeln sein Vertrag und Ihre Einstellungen. Mehr dazu, was beim Hineinkopieren einer Kalkulation passiert, im Artikel zur Angebotserstellung mit KI.
Bei einer lokalen KI gibt es keinen Cloud-Anbieter, der etwas mit Ihren Daten tun könnte. Für den Datenschutz bleibt trotzdem etwas zu tun: Wer im Betrieb welche Unterlagen über die KI sehen darf, legen Sie fest, und das System muss es umsetzen. Das geschieht nicht von selbst.
Wer sich um den Rechner kümmert
Updates einspielen und Daten sichern müssen Sie bei einer lokalen KI selbst organisieren. Ohne eigene IT-Abteilung wird dieser Aufwand oft unterschätzt. Klären Sie vorher, wer das übernimmt, im Betrieb oder als Betreuung von außen.
Wo meine Systeme laufen
Die Angebotserstellung, die ich für Anlagen- und Maschinenbauer baue, läuft komplett auf einem Rechner oder Server in Ihrem Betrieb, auch die KI. Eine Wissensdatenbank richte ich auf Wunsch genauso ein. Den Rechner stellen Sie, eine Betreuung ist möglich.
Ob Ihr vorhandener Rechner reicht oder ein neuer dazukommt, klären wir im kostenlosen Gespräch. Es dauert 30 Minuten, bei Ihnen oder online. Für die Angebotserstellung nehme ich zurzeit drei Pilotbetriebe auf, die nichts dafür zahlen. Dafür darf ich über das Ergebnis berichten, Ihren Namen nenne ich nur mit Ihrer Erlaubnis. Und wenn Sie zufrieden sind, empfehlen Sie mich weiter. Nach den drei Piloten kostet sie einmalig ab 4.900 Euro.