MaltAndPressBot

MaltAndPressBot è il crawler di Malt & Press, una directory multilingue e gratuita di visite ai produttori e degustazioni in Europa. Visita solo i siti dei produttori già presenti su Malt & Press, per mantenere accurate le schede: stato di apertura, visite e degustazioni offerte, prezzi e lingue delle visite.

Come si comporta

Rispetta robots.txt, incluso Crawl-delay, per i gruppi MaltAndPressBot e *.
Frequenza limitata: circa una richiesta al secondo per dominio, con un timeout di 15 secondi per richiesta.
Limiti rigidi: al massimo 2 MB scaricati per pagina e al massimo 400 KB di testo conservati per l’elaborazione.
Le pagine scaricate sono copie di lavoro interne usate per estrarre dati; non vengono mai ripubblicate.
Si identifica in ogni richiesta: MaltAndPressBot/0.1 (+https://maltandpress.com/bot).

Blocco o domande

Per escluderlo del tutto, aggiungi questo al tuo robots.txt:

User-agent: MaltAndPressBot
Disallow: /

Domande, correzioni o richieste di rimozione: vedi la pagina contatti. La scheda del tuo produttore è la via più rapida, e ogni richiesta è esaminata da una persona.