Re: [shell-script] Listar Arquivos do Hadoop Modificados após Determinada Data

[Julio C. Neves]

Se vc quer os arquivos após $Data, faça:

# /etc/hadoop/bin/hdfs dfs -ls -R / | sort -k6,7 | sed "1,/$Data/ d"

$ Num=10; seq 2 2 20 | sed "1,/$Num/ d"

12

14

16

18

20

Se for ao contrário, isto é, só te interessa os caras até $Data, *inclusive* então:

# /etc/hadoop/bin/hdfs dfs -ls -R / | sort -k6,7 | sed "/$Data/,$ d"

$ Num=10; seq 2 2 20 |  sed "/$Num/,$ d"

2

4

6

8

Se só te interessa os caras até $Data, *exclusive* então:

# /etc/hadoop/bin/hdfs dfs -ls -R / | sort -k6,7 | sed "/$Data/ q"

$ Num=10; seq 2 2 20 |  sed "/$Num/ q"

2

4

6

8

10

Pela amostra densa que vc mandou, estou pressupondo que $Data exista no arquivo

Em Agosto darei um treinamento de 40 horas no RJ e em BSB sobre 

Programação em Shell, com imersão em Expressões Regulares e dicas

de YAD. Para mais detalhes acesse goo.gl/JkWmBx

Em  Dezembro um curso com este mesmo conteúdo/carga horária será

lecionado em SP. Maiores detalhes neste site.

Abcs,

Julio

Damos treinamento em sua empresa por um preço, 

no mínimo, 50% mais barato que qualquer curso,

com certificado e nota fiscal.

​​

Nosso time de instrutores in company é formado somente por

​

​

autores

​ ​

​

de Best Sellers

​ ​

​laureados ​sobre os temas. P. exemplo:

Shell básico e Programação em Shell Julio Neves
Bacula Heitor Medrado
Zabbix Adail Host
Produção Gráfica e Videografismo Cadunico

Em 7 de agosto de 2017 22:57, address@hidden [shell-script] <address@hidden.br> escreveu:

 

Olá, Pessoal,

Espero que todos estejam bem!

Estou tentando fazer um script para chamar pelo Bacula e fazer backup dos arquivos do cluster Hadoop (HDFS). A cada backup pretendo salvar a data e horário em um arquivo, e depois filtrar os arquivos modificados após essa data e horário para fins de backup diferencial.

Não é possível usar o find do shell para usar o -newer.

Segue exemplo da lista: 

==================================================

[root@hadoop2 teste]# /etc/hadoop/bin/hdfs dfs -ls -R / | sort -k6,7

-rw-r--r--   2 root supergroup          5 2017-08-05 23:54 /a

-rw-r--r--   2 root supergroup          5 2017-08-05 23:54 /b

drwxr-xr-x   - root supergroup          0 2017-08-05 23:55 /teste

-rw-r--r--   2 root supergroup          5 2017-08-05 23:55 /d

-rw-r--r--   2 root supergroup          5 2017-08-05 23:55 /teste/e

==================================================

Alguma ideia?

Abraços,

===========================================================================
Heitor Medrado de Faria | CEO Bacula do Brasil | Visto EB-1 | LPIC-III | EMC 05-001 | ITIL-F

• Não seja tarifado pelo tamanho dos seus backups, conheça o Bacula Enterprise: http://www.bacula.com.br/enterprise/

• Ministro treinamento e implementação in-company do Bacula Community: http://www.bacula.com.br/in-company/

+55 61 98268-4220 | www.bacula.com.br 

============================================================================

Indicamos também as capacitações complementares:

• Shell básico e Programação em Shell com Julio Neves.
• Zabbix com Adail Host.

============================================================================