Re: [shell-script] Identificando Linhas duplicadas em um arquivo.

[Lawrence Waclawiak]

Bem simples, precisa de dois comandos, o uniq e o sort

Para saber quais linhas são duplicadas e quantas ocorrências de cada uma 
tem no seu arquivo faça:

uniq -c aquivo.txt

Para criar um novo arquivo sem as duplicadas:

sort arquivo.txt |uniq > arquivo.txt.SemDuplicados

Pronto seu novo arquivo criado não contém mais nenhuma ocorrência duplicada



ogaihtnota10 escreveu:
> Bom dia galera, como faço para identificar se ha linhas duplicadas em 
> uma arquivo com mais de 20.000 linhas?
>
> Qual comando eu utilizo pra fazer essa identificação e pra fazer a 
> exclusão dessas linhas duplicadas?
>
> Será que poderiam me ajudar?
>
> Grato.