Removendo arquivos duplicados

Vamos mostrar aqui 03 opções para auxiliar na busca por arquivos duplicados.

  • Ferramenta Gráfica (DUPER) – software livre, que segundo seus desenvolvedores é rápido e pequeno. O Duper escaneia todos arquivos para comparar o tamanho deles, caso tenha dois arquivos de tamanho igual ele faz uma checagem computando um MD5 para cada um determinando assim se são idênticos ou não. Depois do escaneamento pode-se navegar pelos arquivos duplicados (se encontrados) e selecionar o que deletar. Ainda é possível escolher diretórios específicos para o scan. Para conhecer o projeto clique aqui ou aqui para usar o sistema que depende do JAVA.

  • Ferramenta de Linha de Comando (FDUPES) – escrito por Adrian Lopez, procura arquivos duplicados, com opções para a listá-los e excluí-los. Ele primeiro compara o arquivo por tamanho e assinaturas MD5, depois executa uma verificação byte por byte. O Fdupes é escrito em C e é liberado sob a licença MIT. As orientações abaixo se aplicam para instalação em distros baseadas no Debian.
    1. Instalando o sistema: #apt-get install fdupes
    2. Para procurar aquivos duplicados (ex. /etc): #fdupes /etc
    3. Para procurar recursivamente (ex. /etc): #fdupes -r /etc
    4. Para exclusão de arquivos duplicados: #fdupes -d /etc aqui você terá opção de deletar aquivo1, arquivo 2 ou ambos (all)
  • Shell Script – Crédito: Andrei Formiga
    1. Crie o arquivo #vi duplicado.sh com o seguinte conteúdo:
      1. #!/bin/sh
        OUTF=rem-duplicates.sh
        echo #! /bin/sh > rem-duplicates.sh
        find $@ -type f -print0 | xargs -0 -n1 md5sum | sort --key=1,32 | uniq -w 32 -d --all-repeated=separate | sed -r 's/^[0-9a-f]*( )*//;s/([^a-zA-Z0-9./_-])/\\1/g;s/(.+)/#rm \1/' >> rem-duplicates.sh
        chmod a+x rem-duplicates.sh
        ls -l rem-duplicates.sh
    2. Altere a permissão do script: #chmod +x duplicado.sh
    3. Após executar o script, que permite definir o destino, o arquivo rem-duplicados.sh será gerado com a lista de arquivos duplicados

Equipe CITIS.

    1. Instalando o sistema: #apt-get install fdupes
    2. Para procurar aquivos duplicados (ex. /etc): #fdupes /etc
    3. Para procurar recursivamente (ex. /etc): #fdupes -r /etc
    4. Para exclusão de arquivos duplicados: #fdupes -d /etc aqui você terá opção de deletar aquivo1, arquivo 2 ou ambos (all)