Dice-Koeffizient

Der Sørensen–Dice-Koeffizient ist ein klassisches Maß für Mengenüberlappung, das sich sauber auf Zeichenketten abbilden lässt, wenn jede Kette als Multimenge ihrer Zeichen-Bigramme dargestellt wird — jedes benachbarte Zeichenpaar von links nach rechts. Anders als die Editierdistanz, die Einfügungen und Löschungen zählt, liefert Dice eine begrenzte Ähnlichkeit im abgeschlossenen Intervall von null bis eins, sodass Sie Schwellen setzen können, ohne pro Länge neu zu skalieren. Diese Fähigkeit nimmt zwei Texte entgegen, normalisiert optional die Groß- und Kleinschreibung, baut Bigramm-Multimengen und gibt den Koeffizienten zusammen mit Bigramm-Zählungen und der Summe gemeinsamer Paare zurück. Identische Ketten erzielen immer eins; eine Kette mit weniger als zwei Zeichen gegen einen anderen Partner erzielt null, weil keine Bigramme überlappen können.

Was der Zeichen-Bigramm-Dice-Koeffizient misst

Sørensen–Dice wurde für endliche Mengen definiert als das Doppelte der Schnittgröße geteilt durch die Summe der Mengengrößen. Für den unscharfen Kettenvergleich sind die natürlichen Token Zeichen-Bigramme: für eine Kette der Länge n bilden Sie die n minus eins geordneten Paare aufeinanderfolgender Zeichen und zählen Duplikate, wenn dasselbe Paar wiederholt vorkommt. Diese Multimengen-Sicht zählt bei Ketten mit wiederholten Buchstaben oder rhythmischen Mustern, weil ein gemeinsames Paar nur bis zum Minimum seiner Zählungen in jedem Text beitragen kann.

Die Formel lautet daher dice gleich zwei mal die Multimengen-Schnittgröße, geteilt durch die Summe der beiden Bigramm-Zählungen. Ein Wert von eins bedeutet, dass die beiden Multimengen-Taschen im Bigramm-Sinn identisch sind — das gilt, wenn die normalisierten Ketten gleich sind. Ein Wert von null bedeutet, dass sie kein benachbartes Paar teilen, was bei kurzen, unverbundenen Wörtern häufig ist.

Zwischenwerte quantifizieren teilweise Überlappung: night versus nacht teilt das Paar ht einmal unter vier Bigrammen je Seite, wenn die Längen einbezogen werden, und ergibt einen mittleren Koeffizienten statt eines binären Treffers. Weil das Maß symmetrisch und im Sinne wachsender Zähler und Nenner mit der Länge skalenfrei ist, wird es häufig für Record Linkage, tippfehler-tolerante Suche und Erkennung von Beinahe-Duplikaten genutzt, wenn Sie eine einzige vergleichbare Zahl ohne Modelltraining brauchen.

Wo Dice-Ähnlichkeit in Produkten und Pipelines Nutzen stiftet

Produktsuche und Katalogpflege nutzen einen Dice-Koeffizienten-Rechner, um Beinahe-Duplikat-Titel zu markieren, die sich durch ein vertauschtes Wort oder einen fehlenden Buchstaben unterscheiden, ohne Embeddings aufzusetzen. Kundensupport-Tools vergleichen Freitext-Ticketbetreffe mit einem bekannten Vorlagenbestand und leiten hohe Treffer an Makros weiter. Datenbereinigungsjobs in CRM und Logistik gleichen Städtenamen, SKUs und Personennamen über Systeme ab, die bei Großschreibung oder Diakritika abweichen, wenn die Groß-/Kleinschreibungs-Normalisierung aktiv ist.

Fehlgeschlagene Validierung wird nicht abgerechnet. Halten Sie Ketten für interaktive Nutzung bescheiden, pinnen Sie coefficient in Tests auf zwölf Dezimalen, und Sie erhalten reproduzierbare Fuzzy-Scores für Hausaufgaben-Demos, LMS-Plugins und Edge-Worker, ohne eine eigene vollständige Fuzzy-Matching-Bibliothek zu importieren.