Unicode-NFKD-Normalisierer

Unicode-Text kodiert dieselben abstrakten Zeichen oft in mehreren Formen: eine Ligatur, ein vorkomponierter Buchstabe mit Akzent, eine eingekreiste Ziffer oder eine Basis plus kombinierende Marken. Suchmaschinen, Datenbanken und Sicherheitsfilter brauchen eine stabile Form, damit file und file übereinstimmen, café und café nach Zerlegung gleich verglichen werden und ① keine Ziffer verbirgt. Die Unicode-Normalisierungsform KD (NFKD) wendet die Kompatibilitätszerlegung an: Sie expandiert Ligaturen, entfernt rein präsentationsbezogene Unterschiede und trennt kombinierende Sequenzen ohne Rekomposition. Diese Fähigkeit akzeptiert beliebige Zeichenketten, führt den Standard-NFKD-Algorithmus aus und liefert das normalisierte Ergebnis mit Längen- und Codepunkt-Statistiken sowie einem Booleschen Wert, der angibt, ob sich etwas geändert hat.

Was NFKD leistet und wie es sich von NFC, NFD und NFKC unterscheidet

Die Unicode-Normalisierungsform KD, definiert im Unicode Standard Annex fünfzehn, ist die Kompatibilitätszerlegung. Im Gegensatz zu NFD, das nur kanonische Zerlegungen anwendet, etwa das Aufteilen eines vorkomponierten é in e plus kombinierenden Akut, wendet NFKD auch Kompatibilitätszuordnungen an, die Formatierungs- und Präsentationsunterschiede entfernen, die für viele Abgleichaufgaben nicht semantisch wesentlich sind. Ligaturen wie das einzelne Zeichen fi werden zu den Buchstaben f und i; die Doppel-f-Ligatur ff wird zu f f; die Dreifachligatur ffi zu f f i.

Eingekreiste Zahlen, Vollbreite-Ziffern, Hochstellungen und ähnliche Kompatibilitätszeichen expandieren zu ihren einfachen Entsprechungen. Kanonische kombinierende Sequenzen erscheinen weiterhin in zerlegter Reihenfolge, sodass café zu cafe gefolgt von einem kombinierenden Akut auf dem e werden kann. NFKD rekomponiert absichtlich nicht: dieser Schritt gehört zu NFKC.

Wählen Sie NFKD, wenn Sie maximale Entfaltung für Indexierung, unscharfen Vergleich oder das Entfernen von Präsentationsformen vor weiterer Verarbeitung wünschen. Wählen Sie NFC, wenn Sie eine kompakte komponierte Form für Speicherung und Anzeige bevorzugen. Dieser Endpunkt liefert stets form NFKD, damit Clients den Algorithmus nicht erraten müssen.

Die Implementierung nutzt die eingebaute String-normalize-Methode der Hostsprache, die UAX fünfzehn folgt und auf modernen JavaScript-Engines vollständig deterministisch ist.

Wo Unicode-NFKD-Normalisierung in der Praxis vorkommt

Such- und Katalogsysteme normalisieren Produkttitel und sichtbare Labels, damit ligaturreiche Typografie aus Designwerkzeugen keine doppelten Schlüssel erzeugt: final und final fallen nach NFKD zusammen. Lokalisierungsingenieure vergleichen Benutzerzeichenketten nach Kompatibilitätszerlegung, wenn sie verwechselbare Homoglyphen jagen oder prüfen, ob eine Anzeigeform nur Präsentationszucker über einfachen Buchstaben ist. Sicherheits- und Identitätspipelines wenden oft NFKD oder NFKC vor Hash oder Gleichheit an, damit alternative Unicode-Schreibweisen desselben abstrakten Namens Allow-Listen nicht umgehen.

Schrift- und Glyphen-Workflows dokumentieren, welche Kompatibilitätszeichen eine Familie noch als Einzelglyphe liefert, und brauchen einen deterministischen Expansionsschritt für Regressionsfixtures. Programmierkurse lehren Kodierung, indem sie zeigen, dass ein sichtbares Zeichen nach Zerlegung mehreren Skalaren entsprechen kann; eine eigene NFKD-Landing bedient diese Suchintention besser als eine Vergrabung unter Base64 oder Codepunkt-Konvertern. Support-Desks fügen seltsame Symbole aus Tickets ein und brauchen eine autoritative entfaltete Form für die Reproduktion in der Entwicklung.

Wenn Sie U-plus-Codepunktlisten, HTML-Entitäten oder UTF-8-Mojibake-Reparatur brauchen, behandeln Sie das als getrennte Suchintentionen und Landings und überladen Sie diese Unicode-NFKD-Normalisierer-Seite nicht.