Ollama unter Ubuntu 24.04 installieren

Ollama unter Ubuntu 24.04 installieren: Schritt für Schritt Anleitung mit Praxisbeispiel

Akttueller Stand: 06.2025

Künstliche Intelligenz (KI) und Large Language Models (LLMs) wie GPT-4 oder Llama sind nicht mehr nur ein Trendthema – sie verändern, wie wir mit Computern kommunizieren. Mit Ollama kannst du solche Modelle direkt und einfach auf deinem eigenen Rechner betreiben. Gerade auf einem modernen Ubuntu 24.04 Desktop oder Server ist das mit ein paar Befehlen erledigt. In diesem Artikel zeige ich dir, wie du Ollama installierst, ein Modell lädst und direkt per Terminal erste Prompts absetzt.

Was ist Ollama?

Ollama ist eine Open-Source-Software, mit der du Sprachmodelle wie Llama 2, Phi-3, Mistral, Gemma oder TinyLlama lokal auf deinem Linux- (oder Mac/Windows-) Rechner laufen lassen kannst. Das Schöne:

• Keine Cloud, keine Datenweitergabe

• Einfache Installation

• CLI & API

• Läuft auch auf älterer Hardware (viele Modelle sind recht ressourcenschonend)

Systemvoraussetzungen

• Ubuntu 24.04 (funktioniert ähnlich auf 22.04, 23.10 etc.)

• 8 GB RAM oder mehr empfohlen

• Genügend freier Speicherplatz (je nach Modell 4–20 GB)

• Optional: Nvidia GPU für noch mehr Speed (geht aber auch ohne!)

Schritt 1: Ollama herunterladen und installieren

1.1. Terminal öffnen

Drücke CTRL + ALT + T, um ein Terminal zu öffnen.

1.2. Ollama installieren

Die offizielle und empfohlene Methode zur Installation von Ollama unter Ubuntu ist jetzt deutlich einfacher – es gibt keinen separaten GPG-Key mehr über ollama.gpg, sondern einen Ein-Zeilen-Installer, der alles erledigt:

curl -fsSL https://ollama.com/install.sh | sh

Das runtergeladene Script ausführ bar machen und ausführen:

./install.sh

Alternativ erforderlichen Befehle zum installieren von Ollama:

# 1. System aktualisieren und curl installieren
sudo apt update
sudo apt install -y curl

# 2. Ollama installieren (alles inklusive GPG und Repo)
curl -fsSL https://ollama.com/install.sh | sh

# Option: Snap Version, falls du Snap bevorzugst
# sudo snap install ollama --channel=beta

Schritt 2: Ollama-Dienst starten (und autostart aktivieren)

In der Regel startet Ollama nach der Installation automatisch. Falls nicht, kannst du den Dienst per systemd starten:

sudo systemctl start ollama

Optional: Damit der Dienst nach jedem Reboot startet:

sudo systemctl enable ollama

Status prüfen:

sudo systemctl status ollama

Schritt 3: Modell herunterladen und testen

3.1. Ein KI-Modell laden

Ollama bietet eine ganze Reihe kostenloser Sprachmodelle an. Zum Einstieg empfehle ich zum Beispiel Llama 3 oder das sehr kompakte Phi-3.
Beispiel für Llama 3:

ollama pull llama3

Alternativ ein kleineres Modell:

ollama pull phi3

Das Modell wird heruntergeladen und steht danach sofort zur Verfügung.

Schritt 4: Interaktive Nutzung von Ollama im Terminal

Jetzt kannst du direkt mit dem Modell sprechen. Einfach im Terminal:

ollama run llama3

Die Konsole wechselt in einen interaktiven Modus, in dem du Prompts eintippst. Beispiel:

> Was ist der Unterschied zwischen Ubuntu und Debian?

Das Modell antwortet direkt im Terminal.

Tipp:
Du kannst den Prompt auch als Parameter übergeben:

ollama run llama3 "Erkläre mir die Vorteile von Open-Source-Software."

Schritt 5: Ollama per API verwenden (für Entwickler)

Ollama bietet auch eine OpenAI-kompatible REST-API an. Der Dienst läuft nach dem Start automatisch auf http://localhost:11434.

Kleines Beispiel mit curl:

curl http://localhost:11434/api/generate -d '{ "model": "llama3", "prompt": "Nenne drei Vorteile von Ubuntu." }'

Die Antwort kommt als JSON.

Optional: Web-Oberfläche und weitere Modelle

• Ollama-Web-GUI:
  Es gibt verschiedene inoffizielle Web-Oberflächen, die auf Ollama aufsetzen (z.B. ollama-webui).

• Modelle finden:
  https://ollama.com/library
  Hier findest du eine Übersicht aller verfügbaren Modelle – von kleinen, schnellen bis zu sehr leistungsfähigen.

Häufige Probleme & Lösungen

• Modell zu groß?
  Nimm ein kleineres Modell wie phi3 oder tinyllama.

• Kein CUDA/GPU?
  Kein Problem! Ollama läuft auch rein auf der CPU, nur langsamer.

• Speicher voll?
  Lösche nicht genutzte Modelle mit
  ollama rm MODELLNAME

• Port 11434 schon belegt?
  Ollama kann auch auf einen anderen Port gelegt werden – siehe die Doku.

Fazit

Mit Ollama verwandelst du deinen Ubuntu-Rechner im Handumdrehen in eine lokale KI-Schaltzentrale – ganz ohne Cloud-Abhängigkeit oder versteckte Kosten. Die Installation ist schnell erledigt, und schon nach wenigen Minuten kannst du eigene Prompts ausprobieren, Text generieren, programmieren lassen oder komplexe Fragen stellen. Gerade für Entwickler, Tüftler und KI-Interessierte ein tolles Tool!

Kurzzusammenfassung der wichtigsten Befehle:

# GPG-Key & Repo:
curl -fsSL https://ollama.com/download/ollama.gpg | sudo gpg --dearmor -o /usr/share/keyrings/ollama.gpg
echo "deb [signed-by=/usr/share/keyrings/ollama.gpg] https://ollama.com/download/linux stable main" | \
sudo tee /etc/apt/sources.list.d/ollama.list

sudo apt update
sudo apt install ollama

sudo systemctl start ollama
sudo systemctl enable ollama

ollama pull llama3
ollama run llama3

Viel Erfolg bei deinen KI-Experimenten mit Ollama!