Review-Gate: Freigabe-Entscheidung und ein Tool-Vergleich

Nach zwei Umzügen und einem Zugangs-Gateway steht die Frage an, die ein Projekt eigentlich vorher beantworten sollte: Bleibt die Suche im Einsatz, oder war das Ganze ein Experiment? Dieser Teil beschreibt die förmliche Freigabe und das, was direkt danach passierte. Zwei beliebte fertige Werkzeuge standen als Alternative zum Eigenbau im Raum, und die naheliegende Reaktion, ein weiteres Werkzeug selbst zu bauen, unterblieb aus gutem Grund.

Kurz zur Erinnerung

Mein Second Brain ist eine Sammlung von über 1.600 Notizen: Links, Artikel, Videos und Bücher. Ein KI-Redakteur sortiert sie in Cluster, also Gruppen thematisch zusammengehörender Notizen, und schlägt sie mir zur Freigabe vor. Damit er dabei nicht bei jedem Lauf alles neu lesen muss, gibt es VectorSearch, eine Suche nach Bedeutung statt nach Stichwörtern. Sie übersetzt jede Notiz in eine Zahlenreihe, ein Embedding. Ähnliche Themen liegen dann rechnerisch nah beieinander, und ein Ähnlichkeitswert zwischen 0 und 1 gibt an, wie nah: je näher an 1, desto ähnlicher. Den Plan dafür hatte ich im ersten Teil in vier Phasen mit einem Gate zwischen jeder Phase aufgeteilt, einer Prüfschranke, die nur bei bestandener Phase öffnet. Das letzte Gate, das Review mit meiner Entscheidung, stand seit Mitte August offen.

Die Freigabe

Die Leitfragen des Reviews lauteten: Trifft die Suche dieselben Zuordnungen wie bisher? Gibt es Fehlalarme oder verpasste Treffer? Beantwortet waren sie inhaltlich längst, nur nie als formale Entscheidung festgehalten. Grundlage waren drei Beobachtungen:

• Wiederverwendung statt Dopplung: Eine neue Notiz passte inhaltlich zu einem Thema, das bereits als offener Cluster vorlag. Die Suche fand ihn, und die Notiz wurde dort eingeordnet, statt ein zweites, doppeltes Thema aufzumachen.
• Ein korrekt verworfener Cluster: Vier Notizen sahen nach Schlagwörtern und Titeln nach einem gemeinsamen Thema aus (der erste Testlauf beschreibt das im Detail). Die Ähnlichkeitswerte zeigten, dass nur zwei davon wirklich zusammengehörten: rund 0,83 zwischen diesen beiden, aber nur 0,35 bis 0,41 zu den anderen. Ein Test mit denselben Notizen einige Tage später lieferte fast dasselbe Bild (0,737 gegen 0,35 bis 0,42). Die Entscheidung war also robust und kein Zufallsprodukt.
• Die Datenlücke: Viele Notizen bestanden nur aus Titel und Link. Dieser Anteil ließ sich inzwischen von 72,6 auf 23,5 Prozent senken.

Entscheidung am 14. September: Die Suche bleibt produktiv im Einsatz, das Projekt gilt nach vier Phasen als abgeschlossen.

Bauen oder Bestehendes nutzen?

Bevor der geplante Ausbau begann, stand die klassische Frage Build or Buy im Raum: selbst bauen oder ein fertiges Werkzeug nutzen. Zwei Kandidaten hatten je knapp 30.000 Sterne auf der Entwicklerplattform GitHub. Die Sterne funktionieren wie Lesezeichen und zeigen, wie beliebt ein Projekt ist:

• QMD durchsucht Notizen lokal auf dem eigenen Rechner. Es kombiniert Stichwort- und Bedeutungssuche, sortiert die Treffer mit einem Sprachmodell nach und bringt einen eigenen MCP-Server mit, also den "Stecker" für KI-Agenten aus dem Teil zum Werkzeug.
• GBrain ist ein Gedächtnissystem für KI-Agenten. Es merkt sich Personen, Themen und Zusammenhänge und verbindet sie automatisch zu einem Wissensgraphen, einem Netz aus Dingen und den Beziehungen zwischen ihnen.

Beide sind jung, aber die Community dahinter ist aktiv. Ich habe sie gegen die tatsächlichen Quellcode-Ordner der Projekte geprüft, nicht gegen die ungeprüfte Notiz, aus der die Idee stammte. Ergebnis: Beide wären kein Zusatz, sondern ein Austausch.

• QMD schneidet Texte auf eigene Weise in Abschnitte (vergleiche Chunking), nutzt ein anderes Embedding-Modell (vergleiche Modellvergleich) und speichert alles in einem eigenen Datenspeicher. Ein Umstieg hieße, alle 15.812 Abschnitte neu zu berechnen, die Datenbank zu ersetzen und den Zugang neu einzurichten. Das wäre der Umbau eines Systems, das gerade erst freigegeben wurde.
• GBrain würde neben der vorhandenen Datenbank eine zweite, redundante aufmachen. Zudem ist es dafür gebaut, sich Fakten zu merken, nicht dafür, Stellen in Dokumenten wiederzufinden.

Erst prüfen, ob das Problem existiert

Die Alternative wäre gewesen, die Fähigkeiten von QMD selbst nachzubauen. Sie haben zwei Namen:

• Hybrid-Suche: Eine Bedeutungssuche schaut auf den Sinn und kann deshalb bei exakten Begriffen, etwa einem Eigennamen, schwächer sein als eine Stichwortsuche. Die Hybrid-Suche ergänzt sie um die klassische Stichwortsuche, die Begriffe nach Häufigkeit und Seltenheit gewichtet. Beide Trefferlisten werden zu einer zusammengeführt.
• Reranking: Die Suche liefert zunächst eine Auswahl von Kandidaten. Ein zweites, genauer rechnendes Modell sortiert sie danach nochmals neu.

Beides gilt als aufwendig. Die Frage lautete daher: Tritt das Problem, das sie lösen sollen, im eigenen Bestand überhaupt auf?

Also habe ich es getestet, nach einer Sicherung der Datenbank. Ich stellte Anfragen, bei denen ein exakter Name oder Begriff entscheidend ist, direkt an die laufende Suche, darunter Personennamen, eine Deal-Bezeichnung und einen Veranstaltungsnamen. Einige Anfragen musste ich verwerfen, weil ihr Ziel gar nicht im durchsuchten Bereich lag: Die Suche kennt nur den Second-Brain-Bereich, keine Projekt- oder Aufgabennotizen. Von den gültigen Tests trafen fünf von sieben sauber auf Platz 1, also an der Spitze der Trefferliste, mit Ähnlichkeitswerten von 0,78 bis 0,90. Ein weiterer fand beide Zielnotizen unter den ersten fünf. Der siebte zeigte eine echte, aber anders gelagerte Schwäche: Mehrere neue, sehr ähnliche Notizen zum selben Thema verdrängten den zuvor dokumentierten Top-Treffer. Das ist kein Fall für Hybrid-Suche, sondern für den noch offenen Duplikat-Scan, eine geplante Prüfung, die doppelte Notizen aufspüren soll.

Die Kernannahme, reine Bedeutungssuche versage bei exakten Begriffen, hielt der Stichprobe nicht stand.

Fazit

Die Suche ist freigegeben. Beide Ausbau-Ideen liegen zurückgestellt, nicht verworfen: Sie werden neu bewertet, sobald echte Fehlschläge im eigenen System dokumentiert sind und nicht nur eine Vermutung. Die Lehre ist dieselbe wie schon beim Nachmessen der Notizen ohne Inhalt: Bevor man baut oder kauft, prüft man, ob das Problem im eigenen Bestand überhaupt existiert.

Ausblick

Vor dem Ausbau steht eine praktische Frage: Das Gateway ist eingerichtet, aber wird es im Alltag überhaupt genutzt? Der nächste Teil geht dem nach, ausgehend von einer kleinen Anzeige im Terminal. Danach rückt ein anderes, vielversprechenderes Konzept in den Vordergrund: nicht die Trefferliste verfeinern, sondern der Suche zusätzliches Wissen über den Zusammenhang der Notizen geben, etwa aus den Verweisen, mit denen die Notizen im Wiki aufeinander zeigen.