Der rzfz.ai Stack

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale AI-Infrastruktur — bündelt kuratierte Open-Source-Module als Docker-Compose-Container, hinter Caddy als einzigem extern erreichbaren Eintrittspunkt und Authentik SSO, auf der rzfz.ai Box, Ihren eigenen Ubuntu-26.04-Servern oder in der Cloud.

Die Stack Map

Vom Reverse Proxy bis zu den Agents — der komplette rzfz.ai Stack live aus den Daten, gruppiert nach Layer. Kachel anklicken, fokussieren oder darauf tippen für Details.

  • von razzfazz.ai GmbH entwickelt
  • Experimentell

Agentic AI

Daten & Dokumente

Standardanwendungen & Security

Betrieb

LLMs & RAG

Core

Features

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale AI-Infrastruktur — deckt sieben Kernszenarien end-to-end ab. Jedes Feature kombiniert mehrere Module zu einem fertigen Anwendungsfall, komplett auf Ihrer eigenen Hardware.

Local Chat

ChatGPT-Komfort, ohne dass ein Wort das Haus verlässt

Open WebUI ist die zentrale Chat-Oberfläche für alle Modelle auf der Box — mit Retrieval-Augmented Generation, Websuche und Sprachein-/ausgabe in einer Oberfläche. Im Hintergrund übernimmt GPUStack mit llama.cpp die Inferenz auf der eigenen GPU, sodass jede Anfrage lokal beantwortet wird. Weil Modell, Vektorsuche und Oberfläche auf derselben Infrastruktur laufen, verlässt kein Prompt und keine Antwort das Haus — ganz ohne externe API-Anbindung. In der Praxis dient Open WebUI als Frontend für zentrale Wissensdatenbanken und branchenspezifische RAG-Anwendungen, von der Produktionssteuerung bis zum Außenhandel.

Module: Open WebUI, GPUStack + llama.cpp

Aus der Praxis: Zentrale RAG-Knowledgebase für die Produktionssteuerung , TARIC-Warencodes per RAG finden

Local Workflow Automation

Geschäftsprozesse mit AI automatisieren — auf eigener Hardware

Dify orchestriert Geschäftsprozesse als visuelle Workflows — von einfacher Klassifikation bis zu mehrstufigen Dokument-Pipelines mit Freigabeschritten. Jede Node im Workflow läuft gegen die lokalen Modelle des Stacks, sodass sich Automatisierungen ohne Programmierkenntnisse zusammenklicken und direkt gegen echte Geschäftsdaten testen lassen. Weil Orchestrierung und Inferenz auf derselben Box laufen, bleiben sensible Mandanten- und Kundendaten während der gesamten Verarbeitung im Haus. Im Einsatz klassifiziert Dify so bereits Support-E-Mails bei einem IT-Dienstleister, unterstützt Buchhaltungsprozesse in der Steuerberatung und strukturiert Digitalisierungsprojekte im Consulting.

Module: Dify

Aus der Praxis: Support-E-Mail-Klassifikation im IT-Betrieb , Buchhaltungs-Unterstützung in der Steuerberatung , Framework für Digitalisierungs-Consulting

Local Knowledgegraph Brain

Ein zentrales Company Brain für Agents, Chat und Workflows

Cognee baut einen Wissensgraphen über Ihre Dokumente und Systeme auf und beantwortet Fragen per GraphRAG statt reiner Stichwortsuche — präziser bei komplexen Zusammenhängen und über Dokumentgrenzen hinweg. Im Stack dient es als gemeinsames Gedächtnis, auf das Chat, Workflows und Agents über die MCP-Registry zugreifen, statt dass jedes Modul sein eigenes Wissen vorhält. Weil der Wissensgraph vollständig auf der eigenen Hardware entsteht, bleiben interne Dokumente und Prozesswissen im Haus — Cognee ist derzeit als experimentelles Modul enthalten und wird laufend weiterentwickelt. Bei einem Produktionsbetrieb bündelt es bereits Anleitungen, Störfall-Historie und Prozessdokumentation zu einer zentralen Wissensbasis, die Mitarbeitende einfach per Chat abfragen.

Module: Cognee

Aus der Praxis: Zentrale RAG-Knowledgebase für die Produktionssteuerung

Local Personal Agents

Persönliche AI-Agenten pro Mitarbeiter — ohne Telegram, ohne WhatsApp

Jeder Mitarbeiter provisioniert über den Agent Manager seine eigenen persönlichen Agenten — Hermes als Python-Agent mit persistentem Gedächtnis und über 30 Werkzeugen, Moltis als in Rust geschriebener Agent-Server mit Matrix-Anbindung. Angesprochen werden sie ganz normal über Open WebUI, ohne dass dafür Telegram, WhatsApp oder ein anderer externer Messenger nötig wäre. Weil Agent Manager, Hermes und Moltis auf derselben Box laufen wie die Modelle, bleiben Gedächtnisinhalte und Konversationen vollständig lokal — alle drei Module sind derzeit als experimentelle Bausteine des Stacks enthalten. Damit lassen sich persönliche Assistenten aufbauen, die sich an frühere Anfragen erinnern und eigenständig Aufgaben übernehmen, ohne dass Daten je die eigene Infrastruktur verlassen.

Module: Agent Manager, Hermes, Moltis

Local Coding Agents

Kein Code verlässt die Box

Coding-Agenten laufen im geschützten Container-Terminal auf Box oder Master — mit Zugriff auf das lokale Gitea und die On-Box-Coding-Modelle. Sie übernehmen abgegrenzte Aufgaben wie Testabdeckung erhöhen, Refactorings oder Spezifikations-getriebene Implementierung und stellen ihre Ergebnisse als Merge Requests. Weil Modelle, Code und Git-Server auf derselben Infrastruktur liegen, braucht es weder externe API-Keys noch verlässt eine Zeile Code das Haus. Bei Kunden läuft so bereits ein Agent, der rund um die Uhr die Unit-Test-Coverage erhöht.

Module: Codex, OpenCode, gsd-pi, Gitea, OpenHands

Aus der Praxis: 24×7-Dev-Agent erhöht die Testabdeckung , Lokales Coding mit On-Box-Modellen

Document OCR & Interpretation

Von PDF zu strukturierten Daten — lokal

Docling, Tika und Gotenberg lesen, konvertieren und interpretieren Dokumente jeder Art — von PDFs und Office-Dateien bis zu gescannten Belegen mit Layout-Analyse. Vision-Modelle auf der eigenen GPU übernehmen die Bilderkennung, während Stirling PDF als Werkzeugkasten für Zusammenführen, Teilen und Konvertieren bereitsteht. Weil die gesamte Pipeline — Erkennung, Konvertierung und Vision-Inferenz — auf derselben Infrastruktur läuft, verlassen Rechnungen, Verträge und andere sensible Dokumente nie das Haus; Docling, Tika und Stirling PDF sind derzeit als experimentelle Module enthalten. Im Einsatz liest diese Pipeline bereits Belege für die Vorverarbeitung in der Steuerberatung und extrahiert eingehende Kundendokumente, bevor sensible Daten geschwärzt werden.

Module: Docling, Apache Tika, Gotenberg, Stirling PDF

Aus der Praxis: Buchhaltungs-Unterstützung in der Steuerberatung , Dokumentenextraktion und Schwärzung sensibler Daten

PII Redaction

Personenbezogene Daten erkennen und schwärzen — in Text und Bild

Microsoft Presidio erkennt und anonymisiert personenbezogene Daten in Dokumenten-Pipelines, bevor sie an andere Module weitergereicht werden — über 30 Kategorien, in Text ebenso wie in Bildern. Der Analyzer identifiziert sensible Stellen, der Anonymizer schwärzt oder ersetzt sie, und der Image Redactor übernimmt dieselbe Aufgabe für Fotos und Scans. Presidio läuft rein intern als Vorverarbeitungsschritt auf derselben Box wie die übrigen Module — personenbezogene Daten werden also geschwärzt, bevor sie überhaupt an ein Sprachmodell gehen; das Modul ist derzeit als experimenteller Baustein des Stacks enthalten. Eingesetzt wird es bereits, um eingehende Kundendokumente zu schwärzen und um bei der Bildanalyse in der Patientenversorgung sensible Gesundheitsdaten vollständig in der Einrichtung zu behalten.

Module: Presidio

Aus der Praxis: Dokumentenextraktion und Schwärzung sensibler Daten , Lokale Bildanalyse in der Patientenversorgung

"Nothing leaves the box unless a module is explicitly configured to reach out."

Enterprise

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale AI-Infrastruktur — ist für den Unternehmenseinsatz gehärtet: Identität, Netzwerk und Compliance sind von Grund auf mitgedacht, nicht nachgerüstet.

Identität & Zugriff

Authentik steht vor jedem Modul — kein Dienst ist ohne Anmeldung erreichbar. Rollenbasierte Zugriffskontrolle (RBAC) und Multi-Faktor-Authentifizierung (MFA) sind Standard, nicht Zusatzoption.

Netzwerkhärtung

  • Caddy ist der einzige extern erreichbare Eintrittspunkt — mit Rate-Limiting gegen Missbrauch.
  • Der Docker-Daemon ist nie direkt exponiert; ein Docker-Socket-Proxy vermittelt jeden Zugriff.
  • Ein SSRF-Proxy filtert ausgehende HTTP-Aufrufe aus Workflows, bevor sie das Netzwerk verlassen.
  • Alle Dienst-Ports sind auf localhost gebunden — nichts lauscht auf einer öffentlichen Schnittstelle.

Compliance

Die Security-Dokumentation enthält Mapping-Tabellen zu NIS2 und ISO 27001 sowie eine Einordnung nach dem OWASP LLM Top 10. Jedes Release wird mit SBOM und Security-Assessment ausgeliefert.

Secrets & Backups

Rotations-Tooling für Secrets und GPG-verschlüsselte Backups gehören zum Standardbetrieb — keine Klartext-Zugangsdaten, keine unverschlüsselten Sicherungen.

Drei Stufen: Community, Subscription, Dienstleistungen

Der Quellcode des rzfz.ai Stacks ist öffentlich auf Codeberg — wer den Stack privat oder evaluierend betreibt, braucht nichts weiter als den Community-Support über Codeberg Issues und das Community-Wiki (auf Codeberg).

Die Subscription ist eine Lizenz, keine Dienstleistung: Sie räumt Ihrem Unternehmen das Recht ein, die jeweils aktuelle, gepatchte Version des rzfz.ai Stacks kommerziell zu betreiben. Der Quellcode ist öffentlich — der produktive Unternehmenseinsatz läuft über die Subscription.

Wartungspauschale, Standardsupport, Einzelsupportanfragen und Trainings sind eigenständige Dienstleistungen und nicht Teil der Subscription — Sie buchen sie separat, je nach Bedarf.

Dokumentation ist zweigeteilt: Das Community-Wiki ist die öffentliche Community-Dokumentation, frei zugänglich. docs.rzfz.ai ist die Enterprise-Dokumentation, gated hinter Login für Subscription-Kund:innen.

rzfz.ai Subscription

799 € pro Server/Box/VM und Jahr, netto

  • Recht auf kommerziellen Betrieb des aktuellen, gepatchten Stacks
  • Mindestens 4 Releases pro Jahr (aktuell monatlich) inkl. Security-Updates
  • Zugang zur Enterprise-Dokumentation (docs.rzfz.ai)
  • Eine Subscription pro Stack-Installation (Server, VM oder Box)

Releases

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale AI-Infrastruktur — wird nach CalVer versioniert und erscheint aktuell in einem monatlichen Release-Zyklus. Die folgende Liste zeigt alle Releases, neueste zuerst.

  1. v2026.07-ga

    Open-Core-Lizenzmodell wird öffentlich: Apache-2.0-Community, rzfz.ai Subscription und Coding-Agent-Workspaces

    • Open-Core-Lizenzmodell veröffentlicht — freie Apache-2.0-Community-Stufe, quellverfügbare BUSL-1.1-Stufe unter der rzfz.ai Subscription, Lizenzübersicht unter license.<domain>, öffentlicher Codeberg-Mirror und Community-Wiki
    • Coding-Agent-Workspaces — persönliche Coding-Agents jetzt als sandboxte Container je Typ (opencode, Codex, nutzerdefiniert) mit Live-Preview der Web-App sowie persönlichen MCP-Integrationen und Memory
    • Dify 1.15.0 — der doppelte SSO-Login-Prompt entfällt
  2. v2026.06-ga

    Ein Default-Modell: qwen3.6 mit 1M Kontext für Chat, Coding und Vision

    • qwen3.6 als einziges Standardmodell für Chat, Coding, allgemeine Aufgaben und Vision bei 1M Kontext — kein Modell-Jonglieren je Rolle mehr
    • Dokumenten-Q&A funktioniert direkt — Reranker- und Chunking-Defaults für RAG sind vorkonfiguriert
    • Stabilere Upgrades — Standard- und 2026.04-Upgradepfad validiert, mit Self-Healing und Journaling für den Upgrade-Prozess
    • USB-Image für unbeaufsichtigte Installation — ein bootbares USB-Medium installiert Ubuntu 26.04 unbeaufsichtigt und bereitet den Stack für den ersten Start vor
    • Audit-ready Compliance-Tabellen — strukturierte NIS2 (EU 2022/2555) und ISO/IEC-27001:2022-Nachweise im Security-Handbuch
  3. v2026.05-ga

    Personal Agents pro Benutzer: Hermes, Moltis und Coding Agents im „My Agents"-Drawer

    • rzfz.ai Start Portal — Kachel-Launcher mit per-User-Pinning
    • Neues Modul Crawl4AI und Observability-Profil (OpenLIT + ClickHouse)
    • Open WebUI ↔ Dify Manifold Pipe
  4. v2026.04-GA

    Ein Befehl von Grundinstallation zu vollständig konfiguriertem Stack: razzfazz-post-install.sh

    • razzfazz-post-install.sh automatisiert GPUStack-Modell-Deployment sowie Open-WebUI- und Dify-Einrichtung in einem Schritt
    • Zwei experimentelle RAG-Module: LightRAG (graph-basiert) und Cognee mit FalkorDB
    • Verschlüsselte .env-Snapshots vor jeder Konfigurationsänderung; Fix für AMD-GPU-Inferenz

Systemvoraussetzungen

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale AI-Infrastruktur — unterstützt ausschließlich Ubuntu 26.04 LTS als Betriebssystem. Für jedes Einsatzprofil gilt derselbe Anspruch: Wir nennen die Grenzen, bevor Sie sie finden.

Unterstützte Einsatzprofile des rzfz.ai Stacks rzfz.ai Box Primär unterstützt AMD Strix Halo (Ryzen AI MAX+), 128 GB Unified Memory Eigener Server / VM ohne GPU Unterstützt Beliebiger Ubuntu-26.04-Host, ~16–24 GB RAM NVIDIA/CUDA-Server Unterstützt Ubuntu-26.04-Host mit NVIDIA-GPUs — eigene Hardware oder GPU-Cloud Cloud-Instanz Unterstützt Jede Ubuntu-26.04-Cloud-Instanz — mit GPU als Worker, ohne GPU als Steuerzentrale

rzfz.ai Box

AMD Strix Halo (Ryzen AI MAX+), 128 GB Unified Memory

32 GB Container-Budget + 96 GB VRAM (auf 110 GB erweiterbar)

Voraussetzungen

  • Ubuntu 26.04 LTS (vorinstalliert)
  • Netzwerkzugang, Ports 22/80/443

Einschränkungen

  • Nur AMD-Inferenz — kein NVIDIA/CUDA-Pfad auf der Box
  • vLLM auf Strix Halo derzeit nicht unterstützt (Produktion: llama.cpp via Vulkan)
  • Das 32-GB-Container-Budget begrenzt, wie viele Module gleichzeitig laufen
  • Eine intensive Agent-Loop zur Zeit — Richtwert ~1 Box je 6–10 Mitarbeiter

Eigener Server / VM ohne GPU

Beliebiger Ubuntu-26.04-Host, ~16–24 GB RAM

Voraussetzungen

  • Ubuntu 26.04 LTS, Kernel 7.x
  • Docker Engine + Compose v2

Einschränkungen

  • CPU-Inferenz ist langsam — geeignet für leichte oder Batch-Workloads, nicht für interaktive Agents
  • Als Steuerzentrale delegiert er die Inferenz an GPU-Worker (Boxen oder Cloud)

NVIDIA/CUDA-Server

Ubuntu-26.04-Host mit NVIDIA-GPUs — eigene Hardware oder GPU-Cloud

Voraussetzungen

  • Ubuntu 26.04 LTS
  • CUDA-fähige NVIDIA-GPU(s)
  • Docker Engine + Compose v2

Einschränkungen

  • Inferenz via llama.cpp auf CUDA, Modelle im GGUF-Format
  • VRAM-Obergrenze ist eine Budget-, keine Architekturfrage

Cloud-Instanz

Jede Ubuntu-26.04-Cloud-Instanz — mit GPU als Worker, ohne GPU als Steuerzentrale

Voraussetzungen

  • Ubuntu 26.04 LTS
  • Docker Engine + Compose v2

Einschränkungen

  • Datensouveränität hängt vom Cloud-Anbieter ab — für streng lokale Szenarien Box oder eigene Hardware wählen

Gemischte Flotten

Viele Teams kombinieren Profile statt sich auf eines festzulegen: eine Steuerzentrale ohne eigene GPU orchestriert mehrere rzfz.ai Boxen als lokale Inferenz-Worker und zieht bei Bedarf zusätzliche Cloud-GPU-Worker für Lastspitzen hinzu. So bleibt der Kernbetrieb lokal, während Spitzenlast elastisch dazugebucht wird. Passende Kombinationen finden Sie unter Bundles.