Normaliseur Unicode NFD

La forme de normalisation Unicode D, ou NFD, réécrit une chaîne de sorte que chaque caractère précomposé s'étende en un caractère de base suivi des marques combinantes qui définissent son apparence. Un café avec un e aigu précomposé devient la séquence de cinq points de code c-a-f-e plus accent aigu combinant ; les syllabes hangul se scindent en jamo ; Å devient A plus un anneau combinant. Cette capacité prend un champ texte, applique l'algorithme NFD de la plateforme selon le Unicode Standard Annex 15, et renvoie la chaîne normalisée avec des statistiques de longueur et un indicateur de changement.

Ce que fait réellement la décomposition canonique NFD

Unicode stocke de nombreuses lettres accentuées de deux façons : comme un unique point de code précomposé, par exemple U+00E9 pour le e minuscule latin avec aigu, ou comme la lettre de base U+0065 suivie de l'accent aigu combinant U+0301. Les deux séquences se rendent de façon identique, mais ce sont des séquences d'octets différentes, elles cassent l'égalité de chaînes et peuvent surprendre les contrôles de longueur, les expressions régulières et les contraintes d'unicité en base de données.

La Normalization Form D, définie dans le Unicode Standard Annex 15, applique la décomposition canonique : tout caractère possédant un mappage de décomposition canonique est remplacé par ce mappage, et les marques combinantes sont ordonnées selon leur classe de combinaison afin que les séquences équivalentes deviennent identiques. NFD ne recompose pas ensuite ; cette recomposition est NFC. NFD n'applique pas non plus les mappages de compatibilité, de sorte qu'une ligature comme fi ou un chiffre pleine chasse reste tel quel — la décomposition de compatibilité relève de NFKD et NFKC.

Les syllabes hangul reçoivent une décomposition algorithmique spéciale en jamo initial, voyelle et final, c'est pourquoi un court mot coréen peut croître plusieurs fois en longueur de points de code tout en restant le même texte linguistique. Comme la table de mappage et l'ordre des marques sont fixés par la version Unicode du runtime, la même entrée produit toujours la même chaîne NFD sur un moteur donné.

Où NFD apparaît dans le travail d'ingénierie réel

Les pipelines de recherche et d'autocomplétion retirent souvent les diacritiques après NFD pour que cafe corresponde à café sans table d'accents manuscrite par langue. Les générateurs d'identifiants et de slugs décomposent d'abord, puis suppriment les marques combinantes, produisant des clés stables de type ASCII à partir de titres destinés à l'utilisateur. Le QA de localisation compare deux exports qui se ressemblent à l'écran mais échouent aux tests d'égalité tant que les deux côtés ne sont pas forcés en NFD.

Les ingénieurs de polices et de shaping examinent les séquences décomposées pour déboguer l'attachement des marques et la substitution de glyphes. Les relecteurs de sécurité normalisent noms d'utilisateur et étiquettes de domaine avant les contrôles de listes d'autorisation afin que des homographes précomposés et décomposés ne contournent pas un filtre qui n'a listé qu'une forme. Les tâches de migration convertissent des corpus hérités denses en NFC vers NFD lorsqu'un système aval documente NFD comme forme de stockage.

Les cours de programmation enseignent l'encodage en montrant qu'un caractère visible peut devenir deux points de code après NFD, et une page dédiée au normaliseur sert cette intention de recherche mieux qu'en l'enterrant sous des convertisseurs généraux de points de code Unicode ou des outils Base64.

Préférez un outil NFC ou NFKC séparé lorsque vous avez besoin de composition ou de pliage de compatibilité ; cette page s'adresse à ceux qui ont spécifiquement besoin de la décomposition canonique Unicode NFD et d'une chaîne normalisée déterministe pour les tests et les pipelines.