Moritz Conjé
Welches Modell die Bedeutung der Notizen in Zahlenfolgen übersetzt, entscheidet darüber, wie gut die Suche später trifft und welche Hardware der Stack braucht. Zwei Kandidaten standen zur Wahl: nomic-embed-text und bge-m3. Statt nach Bauchgefühl oder Beliebtheit zu entscheiden, habe ich beide mit echten Notizen aus dem Vault gemessen. Das Ergebnis hing überraschend stark davon ab, ob dabei eine Grafikkarte im Spiel war.
Was ein Embedding-Modell macht
Ein Embedding-Modell liest einen Text und übersetzt seine Bedeutung in eine lange Zahlenreihe. Bei nomic-embed-text sind es 768 Zahlen pro Text. Man kann sich diese Reihe wie Koordinaten auf einer Landkarte der Bedeutung vorstellen: Texte zu ähnlichen Themen landen dicht beieinander, Texte zu fernen Themen weit auseinander. Entscheidend ist, dass dabei nicht die Wörter zählen, sondern der Sinn. Eine Notiz über die "Sicherung auf dem NAS" und eine über das "Backup-Konzept für den Fileserver" teilen kaum ein Wort und liegen trotzdem nah beieinander. Eine klassische Stichwortsuche würde diese Verbindung verpassen.
Wie gut ein Modell diese Landkarte zeichnet, unterscheidet sich von Modell zu Modell. Genau das macht die Wahl wichtig: Das Modell bestimmt, was die Suche später überhaupt als ähnlich erkennen kann.
Wie das Ergebnis in die Suche einfließt
Das Modell kommt an zwei Stellen zum Einsatz. Beim Einlesen bekommt jede Notiz ihre Zahlenreihe und wird damit in der Datenbank gespeichert. Bei einer Suche wird die Anfrage vom selben Modell ebenfalls in eine Zahlenreihe übersetzt, und die Datenbank liefert die Notizen, deren Reihen am nächsten liegen. Das Maß dafür ist dieselbe Cosine-Similarity, die ich im Test genutzt habe: Werte nahe 1 bedeuten große inhaltliche Nähe, Werte nahe 0 kaum Verwandtschaft.
Daraus folgen zwei Konsequenzen. Erstens muss für Notizen und Anfragen dasselbe Modell verwendet werden, sonst sind die Landkarten nicht vergleichbar. Ein späterer Wechsel hieße, den gesamten Bestand neu zu berechnen. Zweitens zahlt die Qualität des Modells direkt auf die Trefferqualität ein, während seine Geschwindigkeit bestimmt, wie lange das Einlesen dauert. Beides floss in den Vergleich ein.
Ein Testaufbau mit echten Notizen
Beide Modelle liefen über Ollama, den Dienst aus dem Compose-Stack. Als Testmaterial dienten sechs echte Notizen: mehrere thematisch verwandte aus der Hardware-Dokumentation, dazu eine bewusst fernliegende Kontrollnotiz. Für die Qualität habe ich die Cosine-Similarity genutzt: Verwandte Notizen sollten hohe Werte erreichen, die Kontrollnotiz einen niedrigen.
Die Geschwindigkeit habe ich zweimal gemessen: einmal mit Grafikkarte, einmal in einem temporären Container ganz ohne. Der zweite Test war der wichtigere, denn die NUCs im Homelab haben keine Grafikkarte.
Qualität: beide bestehen
- nomic-embed-text: 0,91 für die verwandten Notizen, 0,58 für die Kontrollnotiz.
- bge-m3: 0,79 für die verwandten Notizen, 0,40 für die Kontrollnotiz. Der Abstand ist mit 0,39 etwas größer als bei nomic-embed-text (0,33), das Modell trennt also etwas schärfer.
Beide Modelle erkannten außerdem korrekt, dass die Einrichtungsnotiz für Home Assistant zur Hardware-Dokumentation des passenden Geräts gehört. Ein kleiner Qualitätsvorteil bei bge-m3, aber nichts, was den Ausschlag geben musste.
Geschwindigkeit: der GPU-Test täuscht
Mit Grafikkarte war bge-m3 das schnellere Modell: 0,61 Sekunden pro Notiz gegen 0,92 Sekunden bei nomic-embed-text. Hätte ich nur diesen Wert genommen, wäre die Wahl in die falsche Richtung gegangen. Ohne Grafikkarte kehrte sich das Bild um:
- nomic-embed-text: 0,67 Sekunden pro Notiz.
- bge-m3: 1,97 Sekunden pro Notiz, also fast das Dreifache.
Hochgerechnet auf die rund 1.740 Notizen der ersten Befüllung sind das etwa 20 Minuten gegenüber gut 57 Minuten. Dabei lief auch der Test ohne Grafikkarte auf einem stärkeren Prozessor als in den NUCs. Die Werte sind daher eine optimistische Untergrenze, auf der Zielhardware dürfte es eher länger dauern.
Die Entscheidung
Die Wahl fiel auf nomic-embed-text: fast dreimal schneller ohne Grafikkarte, deutlich kleiner (274 MB statt 1,2 GB) und mit nur einem geringen Qualitätsnachteil. bge-m3 bleibt als Option im Hintergrund, falls sich im Alltag zeigt, dass die Trennschärfe nicht ausreicht.
Fazit
Die Ausgangsfrage war, welches Modell besser ist. Die Antwort lautet: das, das in der Zielumgebung besser läuft. Ein Vergleich auf der falschen Hardware hätte hier das falsche Modell gekürt.
Ausblick
Mit dem Modell steht die Grundlage. Im nächsten Teil wird daraus die erste befüllte Datenbank, in der jede Notiz ihre Zahlenreihe bekommt, samt einem Stolperstein, der auf einer unscheinbaren Netzwerkfreigabe wartete. Ob die Modellwahl auch im Alltag trägt oder bge-m3 doch noch zum Zug kommt, zeigt sich in den späteren Teilen mit der praktischen Nutzung.
