Worauf Alveraign heute aufgebaut ist: FastAPI als Backend-Framework, Streamlit für die aktuellen Oberflächen und llama.cpp (optional Ollama, OpenRouter) mit lokal gehosteten Modellen — derzeit Mistral Small 4 (🇫🇷), ein Mixture-of-Experts-Modell mit 119 Mrd. Parametern, davon 6 Mrd. aktiv je Token, 256k Kontextfenster (bei uns derzeit mit 131k betrieben), unter Apache 2.0. ZITADEL (🇨🇭) als selbst gehosteter Identity-Provider, oauth2-proxy mit OIDC für anwendungsspezifische Sitzungstrennung, Cloudflare Tunnel für den Edge-Zugang (wird gegen EU-native Alternativen geprüft), PostgreSQL zur Persistenz, Redis für Cache und Sitzungszustand (geplanter Wechsel auf Valkey), Chroma als Vektorspeicher (die Nachfolge ist offen; evaluiert werden Weaviate, 🇳🇱, und Qdrant, 🇩🇪).
Beide geplanten Wechsel sind übrigens selbst ein Beispiel für den Abschnitt weiter oben: Valkey steht unter BSD-3-Clause und wird von der Linux Foundation getragen — es entstand als Abspaltung genau in dem Moment, als das Ursprungsprojekt seine Lizenz einschränkte. Qdrant steht unter Apache 2.0, Weaviate unter BSD-3-Clause. Lizenzen ohne Kleingedrucktes.
Zwei Anwendungen sind live: app.alveraign.ai (Chat) und admin.alveraign.ai (Administration). Die Sitzungstrennung ist je Anwendung durchgesetzt. Die aktuelle Autorisierung erfolgt über eine E-Mail-Allowlist — eine vorläufige Sicherheitsgrenze, die durch ZITADEL-basierte rollenbasierte Rechte ersetzt wird.
Warum dieses Modell: Die zweite Zahl ist die, auf die es bei der Hardwareplanung ankommt. Das Modell trägt das Wissen von 119 Mrd. Parametern, rechnet zur Laufzeit aber in der Größenordnung eines 6-Mrd.-Modells — das ist der Unterschied zwischen „läuft im Rechenzentrum" und „läuft bei Ihnen". Dazu vereint es seit März 2026 drei zuvor getrennte Modelle in einem: Reasoning, Multimodalität und agentisches Programmieren. Für uns heißt das: eine Installation statt drei, keine Routing-Schicht dazwischen, weniger Teile, die brechen können. Und die Lizenz ist Apache 2.0 — ohne Nutzerschwellen, ohne Gebietsbeschränkungen.
Eine Architekturentscheidung, die uns wichtig ist: Die Modellschicht ist austauschbar. Wir wetten nicht auf ein Modell, sondern auf die Ersetzbarkeit von Modellen — lokal betriebene offene Gewichte für den Alltag, europäische Anbieter für die schweren Fälle. Die Entscheidung darüber liegt bei Ihnen, nicht bei uns.