Comentários

Nada tenho contra arquivos ou outro tipo de crawling, mas na minha opinião, um robot de arquivo não deve ser tão agressivo, devem ter em conta que existem algumas limitação de largura de banda e qualquer robot que queira indexar um site num dia pode ser considerado como um ataque DOS (Nem o Googlebot faz uma coisa destas). Por isso o meu comentário, ROMA e PAVIA não se fizeram num dia.

Bom dia agradecemos o seu comentário, o qual mereceu a nossa melhor atenção.

A razão pela qual o batedor do arquivo tem uma velocidade de recolha maior do que, por exemplo o batedor do Google, é porque recolhe exaustivamente todos os conteúdos dos sítios web para fins de preservação, enquanto que o Google apenas necessita de recolher conteúdos textuais para serem indexados.

Outra razão, é porque se houver um grande intervalo entre a recolha dos conteúdos de um sítio web, corremos um risco maior de realizarmos uma cópia incoerente porque o sítio web foi alterado durante a recolha, o que resultará por exemplo em páginas arquivadas com imagens em falta ou ligações quebradas entre páginas.

O AWP tem a máxima preocupação em não afectar os sítios web visitados. Até à data, dos cerca de 360 000 sítios web que estamos a arquivar apenas recebemos 2 queixas.

Embora não seja uma opção standard do Robots Exclusion Protocol, o batedor do AWP respeita a directiva Crawl-delay (http://en.wikipedia.org/wik[…]ndard#Crawl-delay_directive) que permite que os responsáveis pelos sítios web determinem qual o intervalo mínimo recomendado entre pedidos realizados pelos batedores.

Não obstante do exposto, se nos fornecer o endereço do seu sítio web e qual o intervalo entre pedidos que considera aceitável para o seu caso, iremos analisar a situação e tomar as medidas adequadas.

Obrigado pelo seu interesse no Arquivo da Web Portuguesa.
/Daniel Gomes

Embora seja uma leiga na tecnologia da Informática, achei interessante consultar o vosso site, de fácil acesso a quem não domina este assunto.

para quando uma versão Mac OS?