MaltAndPressBot

MaltAndPressBot to robot indeksujący serwisu Malt & Press, darmowego wielojęzycznego katalogu wizyt u producentów i degustacji w Europie. Odwiedza wyłącznie strony producentów, którzy już figurują w serwisie Malt & Press, aby wpisy były dokładne: status otwarcia, oferowane wizyty i degustacje, ceny oraz języki oprowadzania.

Jak się zachowuje

Przestrzega robots.txt, w tym Crawl-delay, dla grup MaltAndPressBot i *.
Ograniczone tempo: około jedno zapytanie na sekundę na domenę, z limitem 15 sekund na zapytanie.
Ścisłe limity: najwyżej 2 MB pobrane na stronę i najwyżej 400 KB tekstu zachowane do przetwarzania.
Pobrane strony to wewnętrzne kopie robocze służące do wydobywania faktów; nigdy nie są ponownie publikowane.
Przedstawia się w każdym zapytaniu: MaltAndPressBot/0.1 (+https://maltandpress.com/bot).

Blokowanie i pytania

Aby całkowicie go wykluczyć, dodaj do swojego robots.txt:

User-agent: MaltAndPressBot
Disallow: /

Pytania, poprawki lub prośby o usunięcie: zobacz stronę kontaktową. Strona Twojego producenta to najszybsza droga, a każdą prośbę rozpatruje człowiek.