Calcolatore similarità Sørensen–Dice

Il coefficiente di Sørensen–Dice è una misura classica di similarità fuzzy tra stringhe basata su bigrammi di caratteri condivisi, non sull’uguaglianza esatta né su percorsi di edit completi. Date due sequenze di testo, questo calcolatore estrae ogni coppia consecutiva di caratteri in ciascuna stringa, tratta tali coppie come multi-insiemi e restituisce il doppio della dimensione della loro intersezione diviso per la somma delle dimensioni dei due multi-insiemi. Il punteggio sta tra zero e uno: stringhe identiche danno uno, borse di bigrammi del tutto disgiunte danno zero, e le quasi-corrispondenze quotidiane come night contro nite o token brevi riordinati restano nel mezzo. Poiché il metodo dipende da coppie sovrapposte anziché da un allineamento globale, tollera piccole differenze ortografiche ed è meno fragile all’ordine delle parole della pura distanza di Levenshtein quando si confrontano etichette di tipo borsa. Studenti, data engineer e team di prodotto lo usano per indizi di deduplica, feature di ranking di ricerca e controlli di compiti senza montare uno stack di machine learning.

Come è definito il coefficiente di bigrammi Sørensen–Dice

Si parta da due stringhe A e B. Si formi il multi-insieme di bigrammi di caratteri per ciascuna stringa: per una stringa di lunghezza n si ottengono n meno uno coppie sovrapposte, così night produce ni, ig, gh, ht. Si conti quante volte compare ogni coppia affinché le lettere ripetute contribuiscano con più token e non con una sola appartenenza d’insieme.

La dimensione dell’intersezione è la somma, su ogni bigramma distinto, del minimo dei suoi conteggi in A e in B. Il coefficiente di Sørensen–Dice è allora il doppio di tale intersezione diviso per il totale dei bigrammi in A più il totale in B. Quando entrambe le stringhe normalizzate sono vuote o altrimenti identiche, il coefficiente è definito come uno.

Quando differiscono e almeno una ha meno di due caratteri, non ci sono bigrammi confrontabili e il coefficiente è zero. La formula è pienamente deterministica e indipendente dalla collazione di locale al di là della normale indicizzazione Unicode, il che mantiene risultati stabili per test automatici e deployment multi-regione. Questa non è similarità semantica: apple e fruit non condividono coppie di caratteri e ottengono un punteggio vicino a zero anche se un umano le giudicherebbe correlate.

Si usino strumenti basati su embedding quando conta il significato; si usi Dice quando contano la forma superficiale e la prossimità ortografica.

Dove la similarità fuzzy a bigrammi genera valore di prodotto

I team di catalogo e CRM applicano un calcolatore di similarità tra stringhe Sørensen–Dice quando uniscono nomi di azienda, titoli di prodotto o righe di indirizzo quasi duplicati che differiscono di pochi caratteri senza configurare una ricerca fuzzy full-text. Gli ingegneri di search e ranking usano il coefficiente come feature lessicale economica accanto a BM25 o alla sovrapposizione di token, soprattutto per query e titoli brevi in cui le coppie di caratteri catturano i typo meglio dell’uguaglianza di parola intera.

Gli script di localizzazione e QA dei contenuti segnalano stringhe candidate quasi identiche dopo modifiche alla translation memory così i revisori si concentrano sul vero scostamento di significato e non su varianti ortografiche accidentali. Le piattaforme scolastiche e di preparazione ai colloqui necessitano di un oracolo deterministico della formula da manuale affinché gli studenti possano controllare esercizi su coppie nello stile night versus nacht e vedere intersezione e conteggi di bigrammi, non solo un punteggio a scatola nera.

Si preferisca questo strumento quando si vuole una formula di multi-insieme spiegabile; si passi alla distanza di edit quando dominano i costi di inserimento e cancellazione, o agli embedding quando l’obiettivo di prodotto è la parentela semantica. Si mantengano input brevi quando possibile, si fissino coefficient e intersection nei test e si ottengono punteggi fuzzy riproducibili senza database vettoriale né GPU.