Como usar o Wget para clonar sites inteiros localmente?

Migre para a melhor hospedagem para sites!
58 / 100

Comando Wget para recuperar web sites

Para usar o wget para clonar sites inteiros localmente com o conteúdo inteiro em HTML:

wget --recursive --no-clobber --page-requisites --html-extension --convert-links -e robots=off -U mozilla LINKDOSITE

Vamos analisar os parâmetros deste comando Wget:

–mirrorIsso torna seu download repetitivo.
–convert-linksTodos os links serão convertidos para o uso offline adequado..
–page-requisitesO seguinte código inclui todos os arquivos necessários como CSS, JS e imagens.
–no-parentGarante que todos os diretórios acima da hierarquia não sejam recuperados
-P documents/websites/Garante que todo o conteúdo vá para o nosso diretório específico.

Para usar o comando Wget para localizar todos as URLs quebradas que exibam o erro 404 em um site específico, execute:

wget -o wget-log -r -l 5 --spider http://exemplo.com
-oReúne a saída em um arquivo para uso posterior.
-lEspecifica o nível de repetição.
-rTorna o download repetido.
–spiderDefine o Wget para o modo aranha.

Agora podemos investigar o arquivo wget-log para encontrar a lista de links quebrados. Aqui está o comando para fazê-lo:

grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u

Comando Wget para baixar arquivos numerados

Execute o comando para baixar arquivos numerados:

wget http://example.com/images/{1..50}.jpg

Assinar nossa Newsletter

* indicates required

ICL Economia

Baixe grátis o E-book "Web Sites Que Funcionam" e Crie Sites Incríveis Hoje

Criação de Site em Belém por uma empresa Profissional

Hospedagem de Site Premium em Belém com Nota Fiscal automática

Postagens em alta

Postagens relacionadas