Remover caracteres não ASCII

Sistemas legados, protocolos seriais, exportadores CSV e relés de e-mail exigentes ainda quebram quando um único emoji, aspas tipográficas ou letra acentuada entra em um campo tratado como ASCII de sete bits. Esta ferramenta para remover caracteres não ASCII recebe qualquer cadeia não vazia, dobra acentos latinos às bases simples e depois apaga todo caractere restante fora da faixa ASCII, de modo que o resultado é texto limpo de sete bits. Emoji, CJK, sinais de moeda e símbolos tipográficos desaparecem; café vira cafe; ASCII já simples volta igual.

Como a remoção de não ASCII funciona por baixo

Remover não ASCII é um pipeline determinístico curto, não um chute de locale nem uma reescrita por aprendizado de máquina. Primeiro o motor aplica a Forma de Normalização Unicode D, que separa a letra base das marcas diacríticas combinantes: é vira e mais um agudo combinante, ñ vira n mais um til combinante e ü vira u mais um trema combinante. Segundo, toda marca combinante nos intervalos comuns é apagada, deixando as bases latinas da Europa ocidental e central e de muitas letras vietnamitas com tom.

Terceiro, uma tabela fixa de transliteração reescreve letras que sobrevivem ao NFD sem virar ASCII: formas nórdicas e islandesas como ø, æ, ð e þ; o eszett alemão; ligaduras francesas e latinas œ; letras polonesas e eslavas com traço como ł e đ; e algumas bases maltesas e vietnamitas com chifre. A tabela preserva maiúsculas quando os dois casos existem, então Æ vira AE e ß vira ss.

Quarto, uma única passagem mantém só pontos de código de U+0000 até U+007F e descarta o resto: emoji, CJK, cirílico, árabe, sinais de moeda, aspas curvas, travessões e símbolos sobrando. Letras ASCII, dígitos, pontuação, espaços, tabulações e quebras de linha ficam na ordem original. O algoritmo informa quantos pontos não ASCII restantes foram apagados e se a cadeia mudou.

Cadeias vazias falham na validação antes de qualquer transformação. Como o caminho é parse puro sobre cadeias, a latência fica abaixo de um milissegundo em formulários típicos e o modelo de custo publicado é analítico, não baseado em tokens de modelo.

O que você envia e o que recebe de volta

Envie um único campo obrigatório chamado text com a cadeia não vazia que deseja limpar para ASCII. Checagens clássicas: Café vira Cafe, naïve vira naive, São Paulo vira Sao Paulo, Straße vira Strasse, e uma cadeia como Hello, café 🎉 vira Hello, cafe com o emoji sumido. ASCII já simples como ABC-123 volta igual, changed é false e removed é zero, útil como detector de no-op em guardas ETL.

O motor não colapsa espaços sobrando depois de um símbolo apagado, não muda maiúsculas e não inventa grafias latinas para cirílico ou CJK — esses sistemas de escrita são simplesmente apagados. Essa é a intenção desta página: ASCII de sete bits para sistemas legados, não um transliterador completo.

Onde essa ferramenta aparece no trabalho real

Equipes de operações colam dumps de console, trechos de ticket e nomes de arquivo de fornecedores que pegam emoji, aspas tipográficas ou sinais de moeda do chat e do e-mail, e precisam de um campo que um mainframe, um terminal POS ou um salto SMTP de sete bits aceite. Engenheiros de dados que limpam exportações de CRM e cargas de warehouse costumam forçar colunas de texto livre para ASCII antes de juntar por chaves suaves ou gravar arquivos para ferramentas que ainda assumem Latin-1 ou até 7 bits.

Editores de CMS e publicadores limpam títulos colados que parecem corretos na tela, mas carregam travessões tipográficos e restos CJK que quebram consumidores RSS antigos ou regras de nome de arquivo. Equipes de produto e crescimento dobram nomes de exibição em alternativas ASCII quando um fornecedor à frente rejeita qualquer coisa fora de 0x00–0x7F, e ainda querem que José vire Jose, não Js. Esta página não é a mesma busca que remover acentos do texto: essa irmã conserva emoji e CJK e só dobra diacríticos.

Também não é remover caracteres de controle, que conserva Unicode imprimível e só apaga códigos C0/C1. Se mais tarde você precisar de slugs de URL com hífens, dobra de maiúsculas ou romanização fonética de sistemas não latinos, trate isso como landings separadas. Mantenha os pedidos abaixo do teto de comprimento documentado, fixe a cadeia result nos testes e você obtém ASCII reproduzível sem montar uma biblioteca de codificação própria.