Re: [shell-script] Problema com arquivo grande

[Roberto Alves]

Marco,

> man sort:
     -u, --unique
          with -c, check for strict ordering; without -c, output only 
the first of an equal run

Dê um "sort -u" no arquivo e redirecione para outro.

Veja se funciona.

Roberto Alves.





Marco Sinhoreli wrote:

> Olá a todos,
>
> Tenho um arquivo com, pra ser exato ;-), 6.352.886 linhas.
> Preciso listar as ocorrências considerando que as repetidas não irei
> armazenar novamente:
>
>
> #! /bin/bash
>
> cont=0
> for i in $(cut -c 13-16 ARQVAL)
>    do
>    if [ ! $(echo ${var[@]}| grep $i) ];
>        then
>        var[$cont]=$i
>        let cont++
>    fi
> done
> echo ${var[@]}
>
> Problema: no ínicio do laço, o i/o fica grande para a leitura do
> arquivo gigante (231M) e o processo não vai adiante.
>
> Gostaria de ver a possíbilidade de ler linha a linha sem necessidade
> de armazenamento prévio, é possível?
>
> []s
>
>
> --
> Marco Sinhoreli
>
>
> ---------------------------------------------------------------------
> Esta lista não admite a abordagem de outras liguagens de programação, como 
> perl, C etc. Quem insistir em não seguir esta regra será moderado sem prévio 
> aviso.
> ---------------------------------------------------------------------
> Sair da lista: address@hidden
> ---------------------------------------------------------------------
> Esta lista é moderada de acordo com o previsto em 
> http://www.listas-discussao.cjb.net
> ---------------------------------------------------------------------
>
> Links do Yahoo! Grupos
>
>
>
>
>
>
>
>
>
>
>