RE: [shell-script] Identificando Linhas duplicadas em um arquivo.

[Marcio Gil]

Lembrando que "sort -u" não só remove as linhas duplicadas como
também ordena. Então se você quiser manter as linhas na ordem
original, o comando é este

awk '!a[$0]++' teste.txt > teste.tmp

Agora sim você pode verificar se existem duplicidades, e só então
remove-las:

if ! diff -q teste.txt teste.tmp >/dev/null ; then
  echo "O arquivo contém linhas duplicada"
  cp teste.tmp teste.txt
  echo "Linhas duplicadas removidas"
fi
rm -f teste.tmp

> -----Original Message-----
> From: Thiago Henrique
> 
> sort -u teste.txt >testesemduplicados.txt -> na mosca...
> 
> grato!!!
> 
> Em 7 de maio de 2010 15:00, <address@hidden> escreveu:
> 
> >
> >
> > Olá, amigão.
> >
> > Veja se isto te ajuda:
> >
> > O arquivo:
> > groo@NOTEERICHDS:~$ cat teste.txt
> > a
> > a
> > b
> > b
> > c
> > c
> > d
> > d
> > e
> > e
> > e
> > e
> > e
> > f
> > f
> > f
> > g
> >
> >
> > Bom dia galera, como faço para identificar se ha linhas
duplicadas
> > > em uma arquivo com mais de 20.000 linhas?
> > groo@NOTEERICHDS:~$ uniq -c teste.txt
> > 2 a
> > 2 b
> > 2 c
> > 2 d
> > 5 e
> > 3 f
> > 1 g
> >
> >
> > ual comando eu utilizo pra fazer essa identificação e pra fazer
a
> > > exclusão dessas linhas duplicadas?
> > groo@NOTEERICHDS:~$ sort -u teste.txt > testesemduplicados.txt
> > groo@NOTEERICHDS:~$ cat testesemduplicados.txt
> > a
> > b
> > c
> > d
> > e
> > f
> > g
> > groo@NOTEERICHDS:~$
> >
> > flw!
> >
> > On Sex 07/05/10 10:35 , "ogaihtnota10" 
> address@hidden<ogaihtnota10%40gmail.com>sent:
> >
> > > Bom dia galera, como faço para identificar se ha linhas
duplicadas
> > > em uma arquivo com mais de 20.000 linhas?
> > > Qual comando eu utilizo pra fazer essa identificação e pra
fazer a
> > > exclusão dessas linhas duplicadas?
> > > Será que poderiam me ajudar?
> > > Grato.
> > >
> > >
> >
> >  
> >
>