Numerisch robuste Nachrichten-Empfehlung unter Item-Cold-Start via Cholesky-basiertem LinUCB und Matryoshka-Embeddings
In dynamischen Inhaltsmärkten wie dem regionalen Nachrichten-Publishing stehen Empfehlungssysteme vor einem strukturellen Paradoxon:
Artikel besitzen eine extrem kurze Halbwertszeit (Time-to-Live, TTL < 48h), während das Interaktionsvolumen klein bleibt.
Klassische kollaborative Filteransätze
Projekt Kairos überwindet diesen Datenmangel durch den Übergang von passivem Offline-Lernen
zu aktiver Online-Banditen-Optimierung via Linear Upper Confidence Bound (LinUCB)
Empirische Analysen realer Nachrichtenkorpora bestätigen, dass das Nutzerengagement innerhalb weniger Stunden nach Veröffentlichung kulminiert
und anschließend exponentiell abfällt
LinUCB begegnet dem, indem es die geschätzte Nutzerbelohnung als Linearkombination aus Kontextmerkmalen $x_{t,a} \in \mathbb{R}^d$ und dem geschätzten Präferenzvektor $\hat{\theta}_t \in \mathbb{R}^d$ modelliert:
Hierbei gewichtet $\alpha > 0$ die epistemische Exploration gegenüber der Ausbeutung (Exploitation), während $A_t \in \mathbb{R}^{d \times d}$ die kumulierte Merkmalskovarianz mit Regularisierung $I_d$ darstellt:
Geometrisch entspricht der quadratische Term unter der Wurzel, $x_{t,a}^\top A_t^{-1} x_{t,a}$, der gewichteten Mahalanobis-Distanz bezüglich der Präzisionsmatrix $A_t^{-1}$. Er spannt im $d$-dimensionalen Merkmalsraum ein Konfidenzellipsoid auf:
Diese Unsicherheitsabschätzung ist stark richtungsabhängig (anisotrop). Entlang von Merkmalsachsen mit hoher Datenabdeckung (z. B. dominante Themen wie Bundespolitik oder Wirtschaft) schrumpft das Ellipsoid rasant – die Unsicherheit sinkt. Entlang selten bedienter Richtungen (regionale Nischenthemen oder neue Artikel) bleibt das Ellipsoid weit aufgespannt. Die resultierende hohe Mahalanobis-Distanz vergibt gezielt einen signifikanten Explorationsbonus, wodurch Kairos den systematischen Popularity Bias aufbricht.
Um den Datenstrom in Echtzeit zu verarbeiten, muss $A_t^{-1}$ bei jeder Nutzerinteraktion $x_t$ inkrementell aktualisiert werden. Herkömmliche Systeme verwenden dafür die Sherman-Morrison-Formel:
Unter Gleitkomma-Arithmetik führt die wiederholte Subtraktion äußerer Produkte zu katastrophaler Auslöschung. Die Konditionszahl $\kappa(A_t^{-1})$ explodiert, Asymmetrien akkumulieren und die positive Definitheit (SPD) geht unwiderruflich verloren.
Nachfolgend simulieren wir 1.000 Online-Interaktionen auf echten 128-dimensionalen Matryoshka-Embeddings der Tagesschau-API. Beide Algorithmen starten unter identischen Bedingungen ($A_0 = 0.1 I_{128} \implies A_0^{-1} = 10 I_{128}$). Für die Darstellung projizieren wir das Ellipsoid auf drei signifikante Hauptachsen: PC1 (Hauptthema), PC2 und PC120 (Cold-Start-Achse):
Anstatt $A_t$ explizit zu invertieren, pflegt Kairos den unteren Dreiecksfaktor $L_t \in \mathbb{R}^{d \times d}$ der Cholesky-Zerlegung:
Bei jeder neuen Interaktion mit Kontext $x \in \mathbb{R}^d$ wird der Faktor direkt per Rang-1-Modifikation aktualisiert
Das Operieren im Faktorraum liefert eine entscheidende numerische Absicherung
Numerische Stabilität sichert die Systemzuverlässigkeit; für Live-Nachrichtensysteme ist jedoch sub-millisekunden Inferenzlatenz zwingend.
Kairos koppelt Cholesky LinUCB mit Matryoshka Representation Learning (MRL)
Durch das Kappen des 768-dimensionalen Embedding-Vektors auf den verschachtelten $m = 128$ Unterraum erzielt die Maximum Inner Product Search (MIPS) einen 4,85-fachen Speedup (0,069 ms vs. 0,337 ms pro 100 Kandidaten) bei gleichzeitigem Erhalt von über 95% der semantischen Gesamtvarianz und 96,4% paarweiser Kosinus-Präzision.
Die nachfolgenden Folien fassen die mathematische Formulierung, die Givens-Rang-1-Updates der Dreiecksfaktoren sowie die empirischen Evaluierungen für die SKILL 2026 auf dem INFORMATIK Festival in Dresden zusammen.
Diese Forschung entstand an der DHBW Ravensburg (School of Business, Data Science & AI). Die experimentelle Validierung stützt sich auf Echtzeit-Nachrichten-Embeddings der Tagesschau-API. Die Implementierung erfolgte in Julia 1.10; der Quellcode ist auf GitHub verfügbar.
Finn Hertsch: Konzeption, mathematische Formulierung des Cholesky LinUCB, MRL-Integration, empirische Evaluierung und Softwarearchitektur.