KI auf dem eigenen Rechner verstehen.

Was heißt „lokal“?

Das KI-Modell rechnet auf deinem eigenen Gerät. Das heißt noch nicht, dass auch jede Zusatzfunktion dort läuft. Eine Websuche oder ein verbundener Dienst kann weiterhin Daten nach außen senden.

Prüfe deshalb die ganze Anwendung: Wo läuft das Modell? Wo liegen die Dateien? Und welche Dienste werden zusätzlich angesprochen?

Was der Rechner können muss

Es gibt Rechner, die speziell für KI ausgelegt sind. Herstellerangaben zeigen mögliche Einsatzbereiche. Sie ersetzen keinen Test mit deiner eigenen Aufgabe.

Entscheidend sind unter anderem verfügbarer Speicher, Modellgröße und Software. Auch lange Eingaben und die gewünschte Antwortgeschwindigkeit spielen eine Rolle.

Eigene Dokumente durchsuchen

Ein Modell kennt deine Dateien nicht automatisch. Eine Dokumentensuche kann passende Textstellen finden und dem Modell zusammen mit deiner Frage geben. Dieser Ansatz heißt RAG.

Dafür müssen die Dateien aufbereitet und auffindbar sein. Gefundene Textstellen helfen bei der Antwort, machen sie aber nicht automatisch richtig.

Den Weg der Daten prüfen

Anwendungen können lokale Modelle und externe Dienste kombinieren. Prüfe, welche Funktionen eingeschaltet sind und wohin sie Daten senden.

Zum eigenen Betrieb gehören außerdem Updates, Zugriffsrechte und Backups. Auch diese Arbeit solltest du einplanen.

Mit einer konkreten Aufgabe beginnen

Auf dieser Seite geht es um Grundlagen. Ich behaupte hier keinen eigenen Hardwaretest und empfehle keinen Rechner aufgrund eigener Messungen.

Beginne mit einer kleinen Aufgabe: etwa Fragen zu wenigen eigenen Dokumenten. Prüfe, ob die Antworten stimmen und ob dir das im Alltag hilft.

Fragen & Antworten.