Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).

Integration von Sprachmodellen in Software-Architekturen

Ein Sprachmodell kann einen Textentwurf erzeugen, Informationen aus bereitgestellten Passagen zusammenfassen oder einen Werkzeugaufruf vorschlagen. Die umgebende Anwendung entscheidet, welche Daten es erhält und welche Aktionen tatsächlich ausgeführt werden. Diese Trennung ist für überprüfbare Ergebnisse wichtig.

Beispiel: Eine Antwort aus einem Handbuch

Eine Nutzerin fragt nach einer Konfigurationsoption. Die Anwendung sucht relevante Handbuchpassagen, prüft deren Zugriffsrechte und gibt sie zusammen mit der Frage an das Modell. Der Antwortentwurf enthält Verweise auf die verwendeten Stellen. Fehlende oder widersprüchliche Informationen müssen sichtbar bleiben, statt durch eine plausible Vermutung ersetzt zu werden.

Auch ein RAG-System kann falsche Antworten erzeugen. Ein Quellenlink belegt erst dann eine Aussage, wenn die verlinkte Passage sie tatsächlich stützt. Die Qualität hängt unter anderem von Dokumentbestand, Abruf, Modell und Prüfung ab. Vektorsuche allein verhindert keine Halluzinationen.

Integrationsorte

BereichMöglicher AblaufZusätzliche Aufgabe der Anwendung
CMSEntwurf oder Metadaten vorschlagenRedaktionelle Freigabe und Änderungshistorie
WebanwendungAntwort schrittweise anzeigenAnmeldung, Zeitlimits und Fehlerbehandlung
LMSRückmeldung zu einer Übung vorbereitenDidaktische Prüfung und Schutz der Lerndaten
WissenssystemPassagen suchen und zusammenfassenZugriffsrechte und nachvollziehbare Belege
Docs-as-CodeÄnderungsvorschlag an Textdateien erzeugenDiff-Prüfung und anschließender Build
Office-EditorMarkierten Text umarbeitenBewusste Auswahl des Modellanbieters und der übertragenen Inhalte

Daten und Werkzeugaufrufe

PostgreSQL kann Dokumente, Metadaten und Konversationszustand speichern. Für Vektoren kommt eine passende Erweiterung oder Integration hinzu. Ein PostgreSQL-Vektorspeicher ist dabei nicht automatisch ein Speicher für den gesamten Agentenzustand. Jede Datenart braucht eine klare Zuordnung.

Ein Modellvorschlag für einen Werkzeugaufruf wird von Anwendungscode geprüft. Ein passendes JSON-Schema kontrolliert die Form, nicht die fachliche Richtigkeit oder Berechtigung. Die Anwendung muss Zugriff und zulässige Parameter zusätzlich prüfen, bevor sie eine Aktion ausführt.

Lokale und externe Modelle

Ollama kann Modelle lokal ausführen und bietet auch Cloud-Funktionen. Für eine lokale Verarbeitung müssen Modellwahl und Konfiguration dazu passen; zusätzliche Werkzeuge dürfen Inhalte nicht unbeabsichtigt weiterleiten. Ollama: Lokaler Betrieb und Cloud-Funktionen.

Die Lizenz einer Laufzeit oder Bibliothek gilt nicht automatisch für die Modellgewichte. Hardwarebedarf, Nutzungsrechte und Datenflüsse werden deshalb getrennt beurteilt. Ein lokaler Server garantiert noch keine Datenschutzkonformität.

Unterkategorien: gefilterte Softwareauswahl

Open-Source-Auswahl nach Reifegrad

4 Einträge: für den jeweils beschriebenen Speicherumfang ausgewählt.

Redaktioneller Stand: 27. September 2026. Auswahl nach der gemeinsamen Bewertungsmethode. Die Reihenfolge priorisiert Reife und anschließend die Eignung für diese Kategorie.

RangSoftwareLizenz des KernsReifegradSchwerpunktPassender Speicherweg und Nachweis
1LangChainMITHochUmfassende Modell-Orchestrierung und Tool-ChainsPostgreSQL: Dokument- und Vektorspeicher über langchain-postgres
2LlamaIndexMITHochDaten-Framework für Dokumenten-Indizierung und RAGPostgreSQL: PGVectorStore-Integration
3OllamaMITHochLokale Laufzeitumgebung für Open-Weights-SprachmodelleDateien: Lokale Modell- und GGUF-Dateien
4LiteLLMMITHochZentrales Gateway und Proxy für 100+ ModellanbieterPostgreSQL: PostgreSQL für Proxy-Schlüssel und Budgets

Betrieb und Prüfung

LangChain und LlamaIndex sind Integrationsbibliotheken. Eine Oberfläche, Berechtigungen und Evaluationsfälle gehören zur eigenen Anwendung. LiteLLM kann Modellzugriffe bündeln; die ausgewählte Variante verwendet PostgreSQL für den Proxy-Zustand. Ollama wird hier als Laufzeit mit lokalen Modelldateien betrachtet, nicht als fertiger Dokumentenspeicher.

Für eine neue Anwendung helfen einige bewusst schwierige Prüffragen: Was passiert ohne passenden Beleg? Werden veraltete Passagen erkannt? Kann ein Benutzer Inhalte aus einem gesperrten Kurs abrufen? Bleiben Fehler bei Modell- oder Werkzeugaufrufen sichtbar? Solche Tests müssen zur konkreten Anwendung gehören und wurden hier nicht für die genannten Produkte durchgeführt.

CLI-Agenten und App-Architekturen vertiefen die Nutzung dieser Bausteine im Arbeitsalltag.