Open WebUI

Open WebUI (ehemals Ollama WebUI) ist eine benutzerfreundliche, selbsthostbare Weboberfläche für die Interaktion mit großen Sprachmodellen (LLMs). Es dient als internes „ChatGPT“, läuft jedoch vollständig auf eigener Infrastruktur oder steuert externe APIs datenschutzkonform an

Hauptzweck

Bereitstellung einer intuitiven Chat-Oberfläche für Teammitglieder, ohne dass Programmierkenntnisse erforderlich sind.Wichtigste Integration: Nahtlose Anbindung an Ollama (für lokale Modelle) sowie an externe Schnittstellen wie OpenAI, Anthropic oder Hugging Face.

Hauptfunktionen

• Multi-Modell-Support: Wechseln zwischen verschiedenen installierten Modellen (z. B. Llama 3, Mistral, Phi-3) mitten im Chat.
• RAG-Integration (Retrieval-Augmented Generation): Dokumente (PDFs, TXT, Dokumente) können direkt in den Chat hochgeladen werden. Die KI nutzt diese Dokumente dann als exklusive Wissensbasis.
• Web-Search (Browsing): Unterstützung von Live-Websuchen (z. B. via SearXNG oder DuckDuckGo), um aktuelle Informationen in die Antworten einzubeziehen.
• Benutzer- und Rechteverwaltung: Admin-Dashboard zur Steuerung, welche Nutzer Zugriff auf welche Modelle haben. Support für OAuth2/Auth0 (z. B. Google, GitHub, Keycloak).
• Prompts & Tools Hub: Erstellen und Teilen von System-Prompts („Custom GPTs“) und Funktions-Erweiterungen (Tools) innerhalb des Teams.

Architektur & Funktionsweise

Open WebUI agiert als reine Weboberfläche (Frontend) und benötigt im Hintergrund eine "Engine" (Backend), die die Berechnungen der KI-Modelle übernimmt.

Erste Schritte für Nutzer

Anmeldung

• Rufe die interne URL auf: http://[DEINE-INTERNE-IP]:3000 (Platzhalter für eure Firmen-URL).
  
• Registriere dich beim ersten Aufruf (der erste registrierte Nutzer wird automatisch Administrator) oder nutze den Button [Mit Firmen-Login anmelden].

Chat starten

• Klicke oben links auf "Modell auswählen".
• Wähle ein Modell aus der Liste (z. B. llama3:8b für Standardaufgaben oder mistral für kreative Texte).
• Tippe deine Frage in das Chatfeld ein.

Mit Dokumenten arbeiten (RAG)

• Klicke im Chatfeld auf das Büroklammer-Symbol oder ziehe eine Datei per Drag-and-Drop hinein. Sobald die Datei analysiert wurde, kannst du gezielt Fragen dazu stellen (z. B.: „Fasse die wichtigsten Punkte aus der hochgeladenen PDF zusammen“).

Administration & Deployment (für IT-Admins)

Standard-Installation via Docker Compose

Open WebUI wird idealerweise zusammen mit Ollama über Docker betrieben. Hier ist die empfohlene docker-compose.yml für den Betrieb mit GPU-Unterstützung:

version: '3.8'
services:
 ollama:
   volumes:
     - ./ollama:/root/.ollama
   container_name: ollama
   image: ollama/ollama:latest
   restart: unless-stopped
   deploy:
     resources:
       reservations:
         devices:
           - driver: nvidia
             count: all
             capabilities: [gpu]
 open-webui:
   image: ghcr.io/open-webui/open-webui:main
   container_name: open-webui
   volumes:
     - ./open-webui:/app/backend/data
   ports:
     - "3000:8080"
   environment:
     - OLLAMA_BASE_URL=http://ollama:11434
     - WEBUI_SECRET_KEY=mein_sicherer_schluessel_123
   extra_hosts:
     - "host.docker.internal:host-gateway"
   restart: unless-stopped
   depends_on:
     - ollama

Wichtige Umgebungsvariablen (Auswahl)

• OLLAMA_BASE_URL: Die URL, unter der die Ollama-API erreichbar ist.
• WEBUI_AUTH: Auf True setzen (Standard), um die Benutzeranmeldung zu erzwingen.
• OPENAI_API_KEY: Falls zusätzlich Modelle von OpenAI (GPT-4) eingebunden werden sollen.

Datenschutz & Sicherheit

Lokale Datenhaltung: Alle Chats, hochgeladenen Dokumente und Benutzerdaten werden in der lokalen SQLite/PostgreSQL-Datenbank des Containers gespeichert. Kein Abfluss an Dritte: Solange ausschließlich lokale Modelle (via Ollama) genutzt werden, verlassen keine Daten unser internes Netzwerk.
Ausnahme: Bei der Aktivierung von externen APIs (z. B. OpenAI) werden die Prompts an den jeweiligen Anbieter übermittelt. Entsprechende Modelle sind im Frontend klar zu kennzeichnen.

Einsatz auf meiner Synology

Open WebUI wird auf einer Synology DS220+ als Docker-Container betrieben. Während der Einrichtung wurden verschiedene Betriebsarten getestet:

• Verbindung zu Ollama
• Nutzung externer Modelle
• Anbindung an Hugging Face
• Betrieb ohne lokale KI-Modelle

Nützliche Links

• offizielle Dokumentation
• GitHub Repository
• Modell-Bibliothek (Ollama)