Unicode-NFD-Normalisierer

Die Unicode-Normalisierungsform D, kurz NFD, schreibt eine Zeichenkette so um, dass jedes präkomponierte Zeichen in ein Basiszeichen plus die kombinierenden Marken zerlegt wird, die sein Erscheinungsbild bestimmen. Ein café mit präkomponiertem e-akut wird zur fünfteiligen Codepunkt-Folge c-a-f-e plus kombinierender Akut; Hangul-Silben zerfallen in Jamo; Å wird zu A plus kombinierendem Ring.

Was die kanonische NFD-Zerlegung tatsächlich leistet

Unicode speichert viele akzentuierte Buchstaben auf zwei Arten: als einzelnen präkomponierten Codepunkt, etwa U+00E9 für das lateinische kleine e mit Akut, oder als Basisbuchstaben U+0065 gefolgt vom kombinierenden Akut U+0301. Beide Sequenzen sehen beim Rendern gleich aus, sind aber unterschiedliche Bytesequenzen, brechen String-Gleichheit und können Längenprüfungen, reguläre Ausdrücke und Unique-Constraints in Datenbanken überraschen.

Die Normalization Form D, definiert im Unicode Standard Annex 15, wendet die kanonische Zerlegung an: jedes Zeichen mit kanonischem Zerlegungs-Mapping wird durch dieses Mapping ersetzt, und kombinierende Marken werden nach ihrer Combining Class sortiert, sodass äquivalente Sequenzen identisch werden. NFD setzt danach nicht wieder zusammen; dieser Rekompositionsschritt ist NFC. NFD wendet auch keine Kompatibilitäts-Mappings an, daher bleibt eine Ligatur wie fi oder eine Fullwidth-Ziffer unverändert — die Kompatibilitätszerlegung gehört zu NFKD und NFKC.

Hangul-Silben erhalten eine spezielle algorithmische Zerlegung in führende, vokalische und schließende Jamo; deshalb kann ein kurzes koreanisches Wort mehrfach in der Codepunkt-Länge wachsen und dennoch derselbe sprachliche Text bleiben. Weil Mapping-Tabelle und Markenreihenfolge durch die Unicode-Version der Laufzeitumgebung festliegen, liefert dieselbe Eingabe auf einer gegebenen Engine immer dieselbe NFD-Zeichenkette. Diese Fähigkeit nutzt die JavaScript-Methode String.prototype.normalize mit der Form NFD, verfügbar in modernen Workern und Browsern, und ist deterministisch: keine Netzwerkanrufe, keine Zufallsseeds und keine Wanduhr-Zeitstempel fließen ins Ergebnis ein.

Wo NFD in der realen Ingenieursarbeit vorkommt

Such- und Autocomplete-Pipelines entfernen Diakritika oft nach NFD, damit cafe zu café passt, ohne handgeschriebene Akzenttabellen pro Sprache. Kennungs- und Slug-Generatoren zerlegen zuerst und streichen dann kombinierende Marken, wodurch stabile ASCII-ähnliche Schlüssel aus nutzerseitigen Titeln entstehen. Lokalisierungs-QA vergleicht zwei Exporte, die am Bildschirm gleich aussehen, aber Gleichheitstests erst bestehen, wenn beide Seiten auf NFD gezwungen sind.

Font- und Shaping-Ingenieure inspizieren zerlegte Sequenzen beim Debuggen von Markenverankerung und Glyphenersetzung. Sicherheitsprüfer normalisieren Benutzernamen und Domain-Labels vor Allow-List-Prüfungen, damit präkomponierte und zerlegte Lookalikes keinen Filter umgehen, der nur eine Form listete. Datenmigrationsjobs wandeln NFC-lastige Altbestände nach NFD um, wenn ein nachgelagertes System NFD als Speicherform dokumentiert.

Programmierkurse lehren Encoding, indem sie zeigen, dass ein sichtbares Zeichen nach NFD zwei Codepunkte werden kann; eine eigene Normalisierer-Landing bedient diese Suchintention besser, als sie unter allgemeinen Unicode-Codepunkt-Konvertern oder Base64-Werkzeugen zu vergraben. Bevorzugen Sie ein separates NFC- oder NFKC-Werkzeug, wenn Sie Komposition oder Kompatibilitätsfaltung brauchen; diese Seite richtet sich an Personen, die gezielt die kanonische Unicode-NFD-Zerlegung und eine deterministische normalisierte Zeichenkette für Tests und Pipelines benötigen.