← finn-hertsch.de
Slides [EN] English

Kairos: Numerically Robust News Recommendation

Numerisch robuste Nachrichten-Empfehlung unter Item-Cold-Start via Cholesky-basiertem LinUCB und Matryoshka-Embeddings

In dynamischen Inhaltsmärkten wie dem regionalen Nachrichten-Publishing stehen Empfehlungssysteme vor einem strukturellen Paradoxon: Artikel besitzen eine extrem kurze Halbwertszeit (Time-to-Live, TTL < 48h), während das Interaktionsvolumen klein bleibt. Klassische kollaborative Filteransätze brechen in diesem Umfeld zusammen, weil die Interaktionsdichte, die für das Training neuronaler Repräsentationen erforderlich ist, selten vor dem inhaltlichen Verfall des Artikels erreicht wird.

Projekt Kairos überwindet diesen Datenmangel durch den Übergang von passivem Offline-Lernen zu aktiver Online-Banditen-Optimierung via Linear Upper Confidence Bound (LinUCB) . Für den dauerhaften Produktivbetrieb erfordert LinUCB jedoch unnachgiebige numerische Integrität. In diesem interaktiven Artikel analysieren wir, warum konventionelle Implementierungen auf Basis rekursiver Sherman-Morrison-Inversionen kollabieren und wie direkte Rang-1-Updates der Cholesky-Faktoren die Modellgeometrie strukturell absichern.

1. Das Item-Cold-Start-Paradoxon

Empirische Analysen realer Nachrichtenkorpora bestätigen, dass das Nutzerengagement innerhalb weniger Stunden nach Veröffentlichung kulminiert und anschließend exponentiell abfällt . In flachen Artikelkatalogen ($N \approx 350$ Artikel im 48-Stunden-Fenster) existiert kein statischer Interaktionsgraph.

LinUCB begegnet dem, indem es die geschätzte Nutzerbelohnung als Linearkombination aus Kontextmerkmalen $x_{t,a} \in \mathbb{R}^d$ und dem geschätzten Präferenzvektor $\hat{\theta}_t \in \mathbb{R}^d$ modelliert:

$$p_{t,a} = \hat{\theta}_t^\top x_{t,a} + \alpha \sqrt{x_{t,a}^\top A_t^{-1} x_{t,a}}$$

Hierbei gewichtet $\alpha > 0$ die epistemische Exploration gegenüber der Ausbeutung (Exploitation), während $A_t \in \mathbb{R}^{d \times d}$ die kumulierte Merkmalskovarianz mit Regularisierung $I_d$ darstellt:

$$A_t = I_d + \sum_{\tau=1}^{t-1} x_{\tau, a_\tau} x_{\tau, a_\tau}^\top$$

2. Die Geometrie der Unsicherheit

Geometrisch entspricht der quadratische Term unter der Wurzel, $x_{t,a}^\top A_t^{-1} x_{t,a}$, der gewichteten Mahalanobis-Distanz bezüglich der Präzisionsmatrix $A_t^{-1}$. Er spannt im $d$-dimensionalen Merkmalsraum ein Konfidenzellipsoid auf:

$$\mathcal{E}_t = \left\{ \theta \in \mathbb{R}^d \mid (\theta - \hat{\theta}_t)^\top A_t (\theta - \hat{\theta}_t) \le \alpha^2 \right\}$$

Diese Unsicherheitsabschätzung ist stark richtungsabhängig (anisotrop). Entlang von Merkmalsachsen mit hoher Datenabdeckung (z. B. dominante Themen wie Bundespolitik oder Wirtschaft) schrumpft das Ellipsoid rasant – die Unsicherheit sinkt. Entlang selten bedienter Richtungen (regionale Nischenthemen oder neue Artikel) bleibt das Ellipsoid weit aufgespannt. Die resultierende hohe Mahalanobis-Distanz vergibt gezielt einen signifikanten Explorationsbonus, wodurch Kairos den systematischen Popularity Bias aufbricht.

3. Der interaktive Showcase: Numerische Divergenz vs. Cholesky-Stabilität

Um den Datenstrom in Echtzeit zu verarbeiten, muss $A_t^{-1}$ bei jeder Nutzerinteraktion $x_t$ inkrementell aktualisiert werden. Herkömmliche Systeme verwenden dafür die Sherman-Morrison-Formel:

$$A_{t+1}^{-1} = A_t^{-1} - \frac{A_t^{-1} x_t x_t^\top A_t^{-1}}{1 + x_t^\top A_t^{-1} x_t}$$

Unter Gleitkomma-Arithmetik führt die wiederholte Subtraktion äußerer Produkte zu katastrophaler Auslöschung. Die Konditionszahl $\kappa(A_t^{-1})$ explodiert, Asymmetrien akkumulieren und die positive Definitheit (SPD) geht unwiderruflich verloren.

Nachfolgend simulieren wir 1.000 Online-Interaktionen auf echten 128-dimensionalen Matryoshka-Embeddings der Tagesschau-API. Beide Algorithmen starten unter identischen Bedingungen ($A_0 = 0.1 I_{128} \implies A_0^{-1} = 10 I_{128}$). Für die Darstellung projizieren wir das Ellipsoid auf drei signifikante Hauptachsen: PC1 (Hauptthema), PC2 und PC120 (Cold-Start-Achse):

κ(A⁻¹) = 3.3
Interaktion t = 1 / 1000
κ(L) = 1.11 (stabil)
Sherman-Morrison (Float32)
Kairos Cholesky (Float64)
Evolution der 3D-Konfidenzellipsoide. Bewege den Slider oder drücke die Leertaste, um 1.000 Interaktionen abzuspielen. Links: Die rekursive Sherman-Morrison-Inversion wird rasch schlecht konditioniert ($\kappa \to 1400+$) und verzieht die Achsen entlang unbeobachteter Richtungen. Rechts: Das Cholesky-Update operiert direkt im Raum der Dreiecksfaktoren, hält $\kappa(L) \le 13$ und sichert strukturell die SPD-Eigenschaft.

4. Die Lösung: Rang-1-Updates im Cholesky-Faktorraum

Anstatt $A_t$ explizit zu invertieren, pflegt Kairos den unteren Dreiecksfaktor $L_t \in \mathbb{R}^{d \times d}$ der Cholesky-Zerlegung:

$$A_t = L_t L_t^\top$$

Bei jeder neuen Interaktion mit Kontext $x \in \mathbb{R}^d$ wird der Faktor direkt per Rang-1-Modifikation aktualisiert :

Algorithmus 1: Inkrementelles Cholesky-Ranking-Update
1: Kontextvektor normalisieren: $x \leftarrow x / \|x\|_2$
2: Abzinsungsfaktor anwenden: $L_t \leftarrow \sqrt{\gamma} \cdot L_t$
3: if Belohnung $r > 0$ then
4:   $L_{t+1} \leftarrow \text{cholupdate}(L_t, x)$   $\rhd \; L_{t+1} L_{t+1}^\top = L_t L_t^\top + x x^\top$
5: end if
6: Vorwärtssubstitution: $L_{t+1} y = x \implies y \in \mathbb{R}^d$
7: Unsicherheitsberechnung: $\sigma^2 = y^\top y = x^\top A_{t+1}^{-1} x$
8: return $L_{t+1}, \sigma^2$

Das Operieren im Faktorraum liefert eine entscheidende numerische Absicherung : Für die Konditionszahl gilt $\kappa(L_t) = \sqrt{\kappa(A_t)}$. Das Arbeiten mit Quadratwurzel-Faktoren verdoppelt effektiv die Gleitkomma-Präzision und schließt das Entstehen negativer Eigenwerte strukturell aus.

5. Skalierung: Matryoshka Representation Learning

Numerische Stabilität sichert die Systemzuverlässigkeit; für Live-Nachrichtensysteme ist jedoch sub-millisekunden Inferenzlatenz zwingend. Kairos koppelt Cholesky LinUCB mit Matryoshka Representation Learning (MRL) über Nomic Embed .

Durch das Kappen des 768-dimensionalen Embedding-Vektors auf den verschachtelten $m = 128$ Unterraum erzielt die Maximum Inner Product Search (MIPS) einen 4,85-fachen Speedup (0,069 ms vs. 0,337 ms pro 100 Kandidaten) bei gleichzeitigem Erhalt von über 95% der semantischen Gesamtvarianz und 96,4% paarweiser Kosinus-Präzision.

6. Konferenzfolien (SKILL 2026 Slides)

Die nachfolgenden Folien fassen die mathematische Formulierung, die Givens-Rang-1-Updates der Dreiecksfaktoren sowie die empirischen Evaluierungen für die SKILL 2026 auf dem INFORMATIK Festival in Dresden zusammen.

SKILL2026_Hertsch_Cholesky_based_LinUCB.pdf
Download PDF
Präsentationsfolie 1 von 8
1 / 8
Tipp: Nutze ← und → auf der Tastatur zum Blättern der Folien. 8 Slides · Format 16:9

Danksagung

Diese Forschung entstand an der DHBW Ravensburg (School of Business, Data Science & AI). Die experimentelle Validierung stützt sich auf Echtzeit-Nachrichten-Embeddings der Tagesschau-API. Die Implementierung erfolgte in Julia 1.10; der Quellcode ist auf GitHub verfügbar.

Autorenbeitrag

Finn Hertsch: Konzeption, mathematische Formulierung des Cholesky LinUCB, MRL-Integration, empirische Evaluierung und Softwarearchitektur.