Tastenkürzel

→ Nächste Folie

← Vorherige Folie

ESC Zurück zur Übersicht

F Vollbild

? Diese Hilfe

LB-12 · KI-Tools & Claude-Ökosystem

Ollama

Lokale LLMs einfach im Terminal betreiben

🎧 Episode anhören

Was ist Ollama?

Ollama betreibt große Sprachmodelle lokal auf dem eigenen Rechner.

Einfache Installation und Bedienung
Modelle laufen ohne Cloud
Daten bleiben lokal

Installation unter Linux

Ein Befehl genügt: curl -fsSL https://ollama.com/install.sh | sh

Auch für macOS und Windows verfügbar
Danach läuft der Ollama-Dienst im Hintergrund

Erstes Modell starten

ollama run llama3 lädt und startet
Beim ersten Mal wird das Modell heruntergeladen
Danach kannst du direkt im Terminal chatten

Wichtige Befehle

ollama run <modell> – starten/chatten
ollama pull <modell> – herunterladen
ollama list – installierte Modelle
ollama rm <modell> – entfernen

Verfügbare Modelle

Große Auswahl auf ollama.com/library
Kleinere Modelle laufen auf schwacher Hardware
Größere brauchen viel RAM/GPU-Speicher
Modell passend zur Hardware wählen

Ollama als API

Ollama stellt eine lokale API bereit (Port 11434) – nutzbar aus eigenen Anwendungen.

Anbindung an eigene Skripte/Tools
Grundlage für Oberflächen wie Open WebUI

Eigene Modelle anpassen

Ein Modelfile beschreibt, wie ein Modell sich verhalten soll.

Basis-Modell, System-Prompt und Parameter festlegen
ollama create baut daraus ein benanntes Modell
Praktisch für feste Rollen, z. B. einen Übersetzer

Systemanforderungen

RAM/VRAM Muss zur Modellgröße passen – sonst wird es sehr langsam.

GPU Beschleunigt die Ausgabe stark – ist aber kein Muss.

Kleinere, quantisierte Modelle laufen auch auf dem Notebook
Mehrere Modelle parallel geladen kosten entsprechend Speicher

Das Wichtigste

Ollama betreibt LLMs lokal, Daten bleiben im Haus
Installation mit einem Befehl
run/pull/list/rm als Grundbefehle
Lokale API auf Port 11434