Coefficiente di Dice

Il coefficiente di Sørensen–Dice è una misura classica di sovrapposizione di insiemi che si applica in modo pulito alle stringhe quando ciascuna è rappresentata come il multinsieme dei suoi bigrammi di caratteri: ogni coppia di caratteri adiacenti da sinistra a destra. A differenza della distanza di edit, che conta inserimenti ed eliminazioni, Dice restituisce una similarità limitata nell'intervallo chiuso da zero a uno, così Lei può impostare soglie senza riscalare in base alla lunghezza. Questa capacità accetta due testi, unifica opzionalmente le maiuscole, costruisce i multinsiemi di bigrammi e restituisce il coefficiente insieme ai conteggi di bigrammi e al totale delle coppie condivise. Stringhe identiche ottengono sempre uno; una stringa più corta di due caratteri contro un partner diverso ottiene zero perché non esistono bigrammi da sovrapporre.

Cosa misura il coefficiente di Dice sui bigrammi di caratteri

Sørensen–Dice è stato definito per insiemi finiti come il doppio della dimensione dell'intersezione diviso per la somma delle dimensioni degli insiemi. Per il confronto fuzzy di stringhe i token naturali sono i bigrammi di caratteri: per una stringa di lunghezza n si formano gli n meno uno coppie ordinate di caratteri consecutivi, contando i duplicati quando la stessa coppia si ripete. Questa visione a multinsieme conta per stringhe con lettere ripetute o schemi ritmici, perché una coppia condivisa può contribuire solo fino al minimo dei suoi conteggi in ciascun testo.

La formula è quindi dice uguale a due volte la dimensione dell'intersezione di multinsieme, divisa per la somma dei due conteggi di bigrammi. Un punteggio di uno significa che le due borse di multinsieme sono identiche nel senso dei bigrammi — il che vale quando le stringhe normalizzate sono uguali. Un punteggio di zero significa che non condividono alcuna coppia adiacente, comune per parole corte non correlate.

I valori intermedi quantificano la sovrapposizione parziale: night versus nacht condivide la coppia ht una volta tra quattro bigrammi per lato quando si tengono in conto le lunghezze, producendo un coefficiente medio anziché una corrispondenza binaria. Poiché la misura è simmetrica e indipendente dalla scala nel senso che numeratore e denominatore crescono con la lunghezza, è ampiamente usata per record linkage, ricerca tollerante ai refusi e rilevamento di quasi-duplicati quando Lei serve un unico numero confrontabile senza addestrare un modello.

Dove la similarità di Dice rende nei prodotti e nelle pipeline

La ricerca di prodotto e l'igiene del catalogo usano un calcolatore del coefficiente di Dice per segnalare titoli quasi duplicati che differiscono per una parola scambiata o una lettera mancante senza montare embedding. Gli strumenti di supporto clienti confrontano oggetti di ticket in testo libero con un archivio di modelli noti e instradano i punteggi alti verso macro.

I job di pulizia dati in CRM e logistica abbinano nomi di città, SKU e nomi di persone tra sistemi che non concordano su maiuscole o diacritici quando l'unificazione delle maiuscole è attiva. La validazione fallita non consuma saldo. Mantenga stringhe modeste per l'uso interattivo, fissi coefficient nei test a dodici decimali e otterrà punteggi fuzzy riproducibili per demo di compiti, plugin LMS e worker di edge senza importare una libreria completa di matching fuzzy propria.