MaltAndPressBot

MaltAndPressBot es el rastreador de Malt & Press, un directorio multilingüe y gratuito de visitas a productores y catas en Europa. Solo visita las webs de productores que ya figuran en Malt & Press, para mantener las fichas exactas: estado de apertura, visitas y catas ofrecidas, precios e idiomas de las visitas.

Cómo se comporta

Respeta robots.txt, incluido Crawl-delay, para los grupos MaltAndPressBot y *.
Ritmo limitado: aproximadamente una petición por segundo y dominio, con un tiempo máximo de 15 segundos por petición.
Límites estrictos: como máximo 2 MB descargados por página y 400 KB de texto conservados para el procesado.
Las páginas descargadas son copias de trabajo internas para extraer datos; nunca se vuelven a publicar.
Se identifica en cada petición: MaltAndPressBot/0.1 (+https://maltandpress.com/bot).

Bloqueo o preguntas

Para excluirlo por completo, añada esto a su robots.txt:

User-agent: MaltAndPressBot
Disallow: /

Preguntas, correcciones o solicitudes de retirada: vea la página de contacto. La ficha de su productor es la vía más rápida, y cada solicitud la revisa una persona.