Zum Inhalt

Ollama – Installation & Grundlagen

Ollama ist das einfachste Tool um große Sprachmodelle lokal auf Ubuntu zu betreiben.

Installation

curl -fsSL https://ollama.com/install.sh | sh

Ollama wird automatisch als systemd-Service eingerichtet und startet beim Boot.

Modelle laden und starten

# Modell herunterladen und direkt starten
ollama run llama3.2

# Nur herunterladen (ohne Chat zu starten)
ollama pull phi4
ollama pull deepseek-r1:14b
ollama pull qwen2.5-coder:14b

# Gestarteten Chat beenden
/bye

Verwaltung installierter Modelle

# Alle installierten Modelle anzeigen
ollama list

# Details zu einem Modell anzeigen
ollama show phi4

# Modell aus Speicher entladen
ollama stop phi4

# Laufende Modelle anzeigen
ollama ps

# Modell löschen
ollama rm phi4

Beispielausgabe ollama list

NAME                ID            SIZE    MODIFIED
phi4:latest         3f9c2a4b1d7e  9.1 GB  2 days ago
llama3.2:latest     a80c4f17acd5  2.0 GB  1 week ago
deepseek-r1:14b     b91d3e5f8a2c  9.0 GB  3 days ago
qwen2.5-coder:14b   c44f1a2b9e7d  9.0 GB  1 week ago

Speicherort der Modelle

/usr/share/ollama/.ollama/models/
├── blobs/          ← Die eigentlichen Modelldateien
│   └── sha256-...
└── manifests/      ← Metadaten & Versionsinformationen
    └── registry.ollama.ai/library/
        ├── phi4/
        └── llama3.2/

# Speicherverbrauch prüfen
sudo du -sh /usr/share/ollama/.ollama/models/

Modelle aktualisieren

Ollama hat kein automatisches Update-System – manuell prüfen:

# Einzelnes Modell updaten (lädt nur Differenz)
ollama pull phi4

# Alle Modelle auf einmal updaten (Skript)
ollama list | tail -n +2 | awk '{print $1}' | xargs -I {} ollama pull {}

Als dauerhaften Alias in ~/.bashrc eintragen:

alias ollama-update='ollama list | tail -n +2 | awk "{print \$1}" | xargs -I {} ollama pull {}'

Ollama auf allen Interfaces verfügbar machen

Standardmäßig lauscht Ollama nur auf 127.0.0.1. Für Docker oder Netzwerkzugriff:

sudo systemctl edit ollama

Einfügen:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

sudo systemctl daemon-reload
sudo systemctl restart ollama

# Prüfen
ss -tlnp | grep 11434
# Soll zeigen: 0.0.0.0:11434