MaltAndPressBot

MaltAndPressBot ist der Crawler hinter Malt & Press, einem kostenlosen mehrsprachigen Verzeichnis für Besuche und Verkostungen bei Produzenten in Europa. Er besucht nur Websites von Betrieben, die bereits auf Malt & Press gelistet sind, um die Einträge aktuell zu halten: Öffnungsstatus, angebotene Besuche und Verkostungen, Preise und Führungssprachen.

So verhält er sich

Respektiert robots.txt, einschließlich Crawl-delay, für die Gruppen MaltAndPressBot und *.
Begrenzte Rate: etwa eine Anfrage pro Sekunde und Domain, mit 15 Sekunden Timeout pro Anfrage.
Strikte Größenlimits: höchstens 2 MB pro Seite abgerufen, höchstens 400 KB Text für die Verarbeitung behalten.
Abgerufene Seiten sind interne Arbeitskopien zur Faktengewinnung; sie werden nie neu veröffentlicht.
Gibt sich bei jeder Anfrage zu erkennen: MaltAndPressBot/0.1 (+https://maltandpress.com/bot).

Blockieren oder Fragen

Um den Crawler vollständig auszuschließen, ergänzen Sie Ihre robots.txt um:

User-agent: MaltAndPressBot
Disallow: /

Fragen, Korrekturen oder Löschwünsche: siehe die Kontaktseite. Die Eintragsseite Ihres Betriebs ist der schnellste Weg, und jede Anfrage wird von einem Menschen geprüft.