MaltAndPressBot

MaltAndPressBot est le robot d’exploration de Malt & Press, un annuaire multilingue et gratuit des visites de producteurs et dégustations en Europe. Il ne visite que les sites des producteurs déjà référencés sur Malt & Press, pour garder les fiches exactes : statut d’ouverture, visites et dégustations proposées, prix et langues des visites.

Son comportement

Respecte robots.txt, y compris Crawl-delay, pour les groupes MaltAndPressBot et *.
Débit limité : environ une requête par seconde et par domaine, avec un délai maximal de 15 secondes par requête.
Limites strictes : au plus 2 Mo récupérés par page, et au plus 400 Ko de texte conservés pour le traitement.
Les pages récupérées sont des copies de travail internes servant à extraire des faits ; elles ne sont jamais republiées.
S’identifie à chaque requête : MaltAndPressBot/0.1 (+https://maltandpress.com/bot).

Blocage ou questions

Pour l’exclure entièrement, ajoutez ceci à votre robots.txt :

User-agent: MaltAndPressBot
Disallow: /

Questions, corrections ou demandes de retrait : voyez la page contact. La fiche de votre producteur est la voie la plus rapide, et chaque demande est examinée par une personne.