Coeficiente de Dice

O coeficiente de Sørensen–Dice é uma medida clássica de sobreposição de conjuntos que se aplica de forma natural a cadeias quando cada uma é representada como o multiconjunto de seus bigramas de caracteres: cada par de caracteres adjacentes da esquerda para a direita. Diferente da distância de edição, que conta inserções e exclusões, Dice devolve uma similaridade limitada no intervalo fechado de zero a um, para que você possa definir limiares sem reescalar por comprimento da cadeia. Esta capacidade aceita dois textos, opcionalmente unifica maiúsculas e minúsculas, monta os multiconjuntos de bigramas e devolve o coeficiente junto com as contagens de bigramas e o total de pares compartilhados. Cadeias idênticas sempre pontuam um; uma cadeia com menos de dois caracteres diante de um parceiro diferente pontua zero porque não há bigramas para sobrepor.

O que o coeficiente de Dice com bigramas de caracteres mede

Sørensen–Dice foi definido para conjuntos finitos como o dobro do tamanho da interseção dividido pela soma dos tamanhos dos conjuntos. Para comparação difusa de cadeias, os tokens naturais são os bigramas de caracteres: para uma cadeia de comprimento n formam-se os n menos um pares ordenados de caracteres consecutivos, contando duplicatas quando o mesmo par se repete. Essa visão de multiconjunto importa em cadeias com letras repetidas ou padrões rítmicos, porque um par compartilhado só pode contribuir até o mínimo de suas contagens em cada texto.

A fórmula é, portanto, dice igual a duas vezes o tamanho da interseção de multiconjuntos, dividido pela soma das duas contagens de bigramas. Uma pontuação de um significa que as duas bolsas de multiconjuntos são idênticas no sentido de bigramas, o que vale quando as cadeias normalizadas são iguais. Uma pontuação de zero significa que não compartilham nenhum par adjacente, comum em palavras curtas não relacionadas.

Valores intermediários quantificam a sobreposição parcial: night versus nacht compartilha o par ht uma vez entre quatro bigramas de cada lado quando os comprimentos entram na conta, produzindo um coeficiente médio em vez de uma correspondência binária. Como a medida é simétrica e livre de escala no sentido de que numerador e denominador crescem com o comprimento, é amplamente usada em ligação de registros, busca tolerante a erros de digitação e detecção de quase-duplicatas quando você precisa de um único número comparável sem treinar um modelo.

Onde a similaridade de Dice agrega valor em produtos e pipelines

Busca de produtos e higiene de catálogo usam uma calculadora do coeficiente de Dice para assinalar títulos quase duplicados que diferem por uma palavra trocada ou uma letra ausente sem montar embeddings. Ferramentas de suporte ao cliente comparam assuntos de tickets em texto livre com um banco de modelos conhecidos e encaminham pontuações altas a macros. Jobs de limpeza de dados em CRM e logística casam nomes de cidades, SKUs e nomes de pessoas entre sistemas que discordam em capitalização ou diacríticos quando a unificação de maiúsculas está ativa.

Validação falha não consome saldo. Mantenha cadeias modestas para uso interativo, fixe coefficient nos testes em doze decimais e você obtém pontuações difusas reproduzíveis para demos de lição de casa, plugins LMS e workers de borda sem importar uma biblioteca completa de correspondência difusa própria.