MaltAndPressBot

O MaltAndPressBot é o rastreador por trás da Malt & Press, um diretório multilingue e gratuito de visitas a produtores e provas na Europa. Só visita os sites de produtores que já constam na Malt & Press, para manter as fichas exatas: estado de abertura, visitas e provas oferecidas, preços e idiomas das visitas.

Como se comporta

Respeita o robots.txt, incluindo Crawl-delay, para os grupos MaltAndPressBot e *.
Ritmo limitado: cerca de um pedido por segundo por domínio, com um tempo limite de 15 segundos por pedido.
Limites rigorosos: no máximo 2 MB descarregados por página e no máximo 400 KB de texto guardados para processamento.
As páginas descarregadas são cópias de trabalho internas usadas para extrair factos; nunca são republicadas.
Identifica-se em cada pedido: MaltAndPressBot/0.1 (+https://maltandpress.com/bot).

Bloqueio ou perguntas

Para o excluir por completo, acrescente isto ao seu robots.txt:

User-agent: MaltAndPressBot
Disallow: /

Perguntas, correções ou pedidos de remoção: veja a página de contactos. A ficha do seu produtor é o caminho mais rápido, e cada pedido é analisado por uma pessoa.