MaltAndPressBot

MaltAndPressBot is de crawler achter Malt & Press, een gratis meertalige gids van producentbezoeken en proeverijen in Europa. Hij bezoekt alleen websites van producenten die al op Malt & Press staan, om de vermeldingen accuraat te houden: openingsstatus, aangeboden bezoeken en proeverijen, prijzen en rondleidingstalen.

Hoe hij zich gedraagt

Respecteert robots.txt, inclusief Crawl-delay, voor de groepen MaltAndPressBot en *.
Beperkt tempo: ongeveer één verzoek per seconde per domein, met een time-out van 15 seconden per verzoek.
Strikte limieten: hoogstens 2 MB opgehaald per pagina en hoogstens 400 KB tekst bewaard voor verwerking.
Opgehaalde pagina’s zijn interne werkkopieën om feiten uit te halen; ze worden nooit opnieuw gepubliceerd.
Maakt zich bij elk verzoek kenbaar: MaltAndPressBot/0.1 (+https://maltandpress.com/bot).

Blokkeren of vragen

Om hem volledig te weren, voegt u dit toe aan uw robots.txt:

User-agent: MaltAndPressBot
Disallow: /

Vragen, correcties of verwijderverzoeken: zie de contactpagina. De pagina van uw producent is de snelste route, en elk verzoek wordt door een persoon beoordeeld.