Remover linhas duplicadas

Quando você precisa de uma lista sem duplicatas

As duplicatas aparecem em todo lugar: listas de e-mails reunidas de várias planilhas (com o risco de mandar a mesma newsletter duas vezes), listas de palavras-chave de SEO, códigos de desconto, SKUs de estoque, colunas exportadas de um CSV. Esta ferramenta sempre mantém a primeira ocorrência de cada linha, então a ordem original da sua lista nunca muda, só as repetições posteriores são descartadas. Linhas em branco nunca contam como duplicadas e ficam onde estão: para removê-las existe a caixa “Remover linhas em branco”.

Maiúsculas e minúsculas: quando ignorá-las

Para endereços de e-mail é melhor ativar a opção: [email protected] e [email protected] são a mesma caixa de entrada, então devem contar como duplicatas. Já para códigos de produto, senhas ou identificadores técnicos, a diferença entre maiúsculas e minúsculas pode ter significado: deixe a caixa desmarcada. De qualquer forma, a linha que fica mantém a grafia original, totalmente intacta.

As duplicatas que um computador não enxerga

Duas linhas podem parecer idênticas sem ser. O caso mais comum é um espaço invisível no início ou no fim, e aqui ele não conta: esses espaços são ignorados na comparação, junto com os caracteres invisíveis de largura zero que às vezes entram ao copiar, e a linha que fica é escrita exatamente como você colou. Espaços duplos no meio e uma tabulação usada no lugar de um espaço contam, porque às vezes fazem parte dos dados: se você quer que não contem, marque também “Remover espaços extras”, que roda antes da comparação.

A outra armadilha são caracteres que se parecem: o apóstrofo reto e o curvo, o hífen e o travessão, o “a” latino e o cirílico. Para o olho é a mesma linha, para uma comparação são duas linhas diferentes, e nenhuma atenção humana consegue distingui-las. Já as letras acentuadas escritas de duas maneiras, o “é” inteiro ou um “e” seguido de um acento separado, como acontece ao copiar nomes de arquivos de um Mac, são comparadas como iguais.

Maiúsculas e acentos: depende dos dados

Nos endereços de e-mail, a parte depois do arroba não diferencia maiúsculas de minúsculas, então [email protected] e [email protected] são a mesma caixa de entrada e devem ser unidos. Para uma senha ou um código, ao contrário, a diferença importa e unir destruiria os dados.

Quanto aos acentos, quase sempre é melhor distinguir: “está” e “esta” são palavras diferentes. A exceção são listas de nomes de pessoas digitados por gente diferente, em que “Jose” e “José” quase certamente são a mesma pessoa: aí a escolha não é técnica, é uma decisão sobre o que a lista contém.

Remover duplicatas nem sempre é o objetivo

Às vezes a pergunta de verdade é quais linhas se repetem e quantas vezes, e não fazê-las sumir: em uma lista de pedidos, uma duplicata é um erro a entender, não a esconder. Apagá-la antes de olhar faz perder a informação mais útil.

Vale também decidir qual cópia você mantém: a primeira ou a última. Se as linhas trazem uma data ou um número de sequência, a última costuma ser a versão boa; se a lista é um registro cronológico, a primeira. Com linhas idênticas não faz diferença, com linhas parecidas faz.

Várias limpezas de uma vez, em ordem fixa

Abaixo da caixa você encontra as dez limpezas desta família, e pode marcar quantas quiser: cada página começa com a sua já marcada. O programa é o mesmo nas dez, então o mesmo texto com as mesmas caixas dá o mesmo resultado em qualquer página em que você o cole.

A ordem não depende de quais caixas você marca, e é a ordem em que você as vê: primeiro os caracteres (emojis, acentos, números, pontuação), depois os espaços dentro de cada linha (tabulações, recuo, espaços extras), depois as linhas inteiras (em branco e duplicadas) e por último a união de tudo em uma única linha. Assim, uma linha que fica vazia depois que os emojis saem desaparece junto com as linhas em branco, e duas linhas que ficam idênticas depois que os espaços saem contam como duplicadas.

As páginas irmãs, cada uma com a sua caixa já marcada: Remover espaços extras, Remover recuo, Remover linhas em branco, Remover emojis, Remover acentos, Remover pontuação, Remover números, Texto em uma linha e Tabulações em espaços.

Veja também

Para reordenar a lista antes ou depois existe o Ordenar linhas, e para ver o tamanho dela o Contador de palavras. Se as linhas vêm de um CSV, o Limpar um CSV faz o trabalho nas colunas.