Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).
Hybrid-Routing, Modellkaskadierung und Energiemanagement
Übergeordnete Kategorie: Mobile und Desktop-Apps und KI-Framework-SDKs
Auf Mobilgeräten und Laptops ist Rechenleistung keine unbegrenzt verfügbare Ressource. Kontinuierliche Modellausführung auf der NPU oder GPU führt unweigerlich zu zwei gravierenden Problemen: raschem Batterieverbrauch und thermischer Drosselung (Thermal Throttling), bei der das Betriebssystem die Taktrate der Prozessoren drastisch senkt, um Hardwareschäden zu verhindern.
Das asymmetrische Modell-Kaskadierungs-Muster
Um eine optimale Balance zwischen Reaktionsschnelligkeit, Antwortqualität und Energieverbrauch zu erzielen, setzen moderne Applikationen auf ein zweistufiges Hybrid-Routing:
[Benutzeraktion in der mobilen App]
│
▼
┌─────────────────────────────────────────────────────────────┐
│ Stufe 1: Lokale Edge-Triage (Kompaktmodell: 1B–3B Parameter)│
│ ├─ Sofortige Beantwortung einfacher Fragen (Offline) │
│ ├─ In-Line-Autovervollständigung (Ghost-Text) │
│ └─ Absichtserkennung (Intent Classification & Routing) │
└────────────────────────────┬────────────────────────────────┘
│
┌───────────────┴───────────────┐
│ Frage lokal lösbar? │
▼ ▼
[Ja: Sofort anzeigen] [Nein: Hohe Komplexität / Web-RAG]
│
┌───────────────┴───────────────┐
│ Umwelt-Check auf dem Endgerät │
│ ├─ Internetverbindung aktiv? │
│ └─ Akkustand > 15 %? │
└───────────────┬───────────────┘
│
▼
┌───────────────────────────────┐
│ Stufe 2: Cloud-Inferenz │
│ (Zentrales Gateway / LiteLLM) │
└───────────────────────────────┘
1. Stufe 1 (Lokales Kompaktmodell)
Ein kleines, auf dem Gerät vorgehaltenes 1B- bis 3B-Modell (z. B. Gemma 2B oder Qwen 2.5) agiert als lokaler Filter und Triage-Instanz. Es beantwortet einfache Formatierungs- und Klassifizierungsfragen in Millisekunden und erkennt, ob für eine fundierte Antwort externe Bibliotheken oder komplexe Argumentationsketten erforderlich sind.
2. Stufe 2 (Cloud-Delegation)
Nur wenn die Aufgabe die Wissens- oder Rechengrenzen des lokalen Modells übersteigt, leitet das KI-Framework-SDK die Anfrage an das zentrale Backend (z. B. über ein LiteLLM-Gateway) weiter.
Kontext- und akkugesteuertes Ressourcenmanagement
Mobile Betriebssysteme (iOS und Android) überwachen den Energieverbrauch von Hintergrundprozessen streng. Eine App, die unkontrolliert Inferenz-Tasks im Hintergrund ausführt, wird vom Betriebssystem zwangsweise beendet (Background Execution Kill).
Schutzregeln für die App-Architektur:
- Akkustand-Wächter (Battery Guard): Fällt die verbleibende Akkuladung unter einen Schwellenwert (z. B. 20 Prozent) oder befindet sich das Gerät im Energiesparmodus des Betriebssystems, pausiert die App lokale Vektorisierungs-Pipelines für neue Dokumente und schaltet auf leichtgewichtige Cloud-Aufrufe um.
- Thermal Throttling Prävention: Die App überwacht die thermischen Status-APIs des Betriebssystems (wie
ProcessInfo.thermalStateunter iOS). Meldet das System erhöhte Temperaturwerte, erzwingt das KI-SDK Ruhepausen zwischen aufeinanderfolgenden Token-Generierungen. - Intelligenter lokaler Semantik-Cache: Identische oder hochgradig ähnliche Anfragen werden in einer lokalen Tabelle in
sqlite-vecgecacht. Liefert die Kosinus-Ähnlichkeit zu einer früheren Frage einen Wert nahe 1.0, wird die gespeicherte Antwort unmittelbar ausgegeben, ohne dass NPU oder Cloud erneut beansprucht werden.
[!NOTE] Die serverseitige Verarbeitung und Weiterleitung solcher Cloud-Anfragen wird im Kapitel Webframeworks und KI-Framework-SDKs detailliert beschrieben.