Supprimer les caractères non ASCII

Les systèmes hérités, les protocoles série, les exportateurs CSV et les relais de courrier exigeants cassent encore lorsqu’un seul emoji, une guillemet typographique ou une lettre accentuée glisse dans un champ traité comme de l’ASCII sept bits. Cet outil de suppression des caractères non ASCII prend toute chaîne non vide, replie les accents latins vers leurs bases nues, puis efface tout caractère restant hors de la plage ASCII, afin que le résultat soit un texte sept bits propre. Emoji, CJK, signes monétaires et symboles typographiques disparaissent ; café devient cafe ; l’ASCII déjà nu est renvoyé inchangé.

Comment fonctionne la suppression des caractères non ASCII

Retirer le non-ASCII est un court pipeline déterministe, ni une conjecture de locale ni une réécriture par apprentissage automatique. D’abord le moteur applique la forme de normalisation Unicode D, qui sépare la lettre de base de ses marques diacritiques combinantes : é devient e plus un aigu combinant, ñ devient n plus un tilde combinant, et ü devient u plus un tréma combinant. Ensuite, toute marque combinante des plages habituelles est effacée, laissant les bases latines d’Europe occidentale et centrale et de nombreuses lettres vietnamiennes à tons.

Troisièmement, une table fixe de translittération réécrit les lettres qui survivent à NFD sans devenir ASCII : formes nordiques et islandaises telles que ø, æ, ð et þ ; l’eszett allemand ; ligatures françaises et latines œ ; lettres polonaises et slaves barrées comme ł et đ ; et quelques bases maltaises et vietnamiennes à corne. La table conserve la casse lorsque les deux cas existent, donc Æ devient AE et ß devient ss.

Quatrièmement, une seule passe ne conserve que les points de code de U+0000 à U+007F et jette le reste : emoji, CJK, cyrillique, arabe, signes monétaires, guillemets courbes, tirets cadratin et symboles restants. Lettres ASCII, chiffres, ponctuation, espaces, tabulations et sauts de ligne gardent leur ordre d’origine. L’algorithme indique combien de points non ASCII restants ont été effacés et si la chaîne a changé.

Les chaînes vides échouent à la validation avant toute transformation. Comme le chemin est du parse pur sur des chaînes, la latence reste sous la milliseconde pour les formulaires typiques et le modèle de coût publié est analytique, non fondé sur des jetons de modèle.

Ce que vous envoyez et ce que vous recevez

Envoyez un unique champ obligatoire nommé text contenant la chaîne non vide que vous souhaitez nettoyer en ASCII. Contrôles classiques : Café devient Cafe, naïve devient naive, São Paulo devient Sao Paulo, Straße devient Strasse, et une chaîne telle que Hello, café 🎉 devient Hello, cafe avec l’emoji disparu. Un ASCII déjà nu comme ABC-123 revient inchangé, changed est false et removed vaut zéro, utile comme détecteur de no-op dans des gardes ETL.

Le moteur ne compacte pas les espaces restants après un symbole effacé, ne change pas la casse et n’invente pas d’orthographes latines pour le cyrillique ou le CJK : ces écritures sont simplement supprimées. Telle est l’intention de cette page : de l’ASCII sept bits pour les systèmes hérités, pas un translittérateur complet.

Où cet outil intervient dans le travail réel

Les équipes d’exploitation collent des dumps de console, des fragments de ticket et des noms de fichiers fournisseurs qui ramassent emoji, guillemets typographiques ou signes monétaires depuis le chat et le courrier, puis ont besoin d’un champ qu’un mainframe, un terminal POS ou un saut SMTP sept bits acceptera.

Les ingénieurs de données qui nettoient des exports CRM et des chargements d’entrepôt forcent souvent les colonnes en texte libre vers l’ASCII avant de joindre sur des clés souples ou d’écrire des fichiers pour des outils qui supposent encore Latin-1, voire 7 bits. Éditeurs CMS et éditeurs de contenu nettoient des titres collés qui paraissent corrects à l’écran mais portent des tirets typographiques et des restes CJK qui cassent d’anciens consommateurs RSS ou des règles de nom de fichier.

Les équipes produit replient les noms affichés en replis ASCII lorsqu’un fournisseur en aval refuse tout ce qui sort de 0x00–0x7F, tout en voulant que José devienne Jose et non Js. Cette page n’est pas la même recherche que supprimer les accents du texte : cette sœur conserve emoji et CJK et ne replie que les diacritiques. Ce n’est pas non plus supprimer les caractères de contrôle, qui conserve l’Unicode imprimable et n’efface que les codes C0/C1.

Si vous avez ensuite besoin de slugs d’URL à traits d’union, d’un repli de casse ou d’une romanisation phonétique d’écritures non latines, traitez-les comme des pages distinctes. Gardez les requêtes sous le plafond de longueur documenté, figez la chaîne result dans les tests, et vous obtenez un ASCII reproductible sans monter votre propre bibliothèque d’encodage.