ZvirataOnhostBot
Robot portálu zvirata.onhost.cz se identifikuje hlavičkou User-Agent:
ZvirataOnhostBot/1.0 (+https://zvirata.onhost.cz/o-projektu)ZvirataOnhostBot/1.0 (+https://zvirata.onhost.cz/bot; veterinari z OSM pro zvirata.onhost.cz)
Co dělá
- Feedy e-shopů načítá jen tehdy, když nám je provozovatel sám zadal po ověření domény.
- Údaje o produktech (volitelně, ve výchozím stavu vypnuto): ze stránek uvedených v sitemap e-shopu čte jen strukturovaná data
schema.org
Product(JSON-LD) – název, GTIN/EAN, cenu v Kč a dostupnost. Nic jiného ze stránky neukládáme, texty ani obrázky nepřebíráme. - Před každým během čte
robots.txta respektujeDisallowproZvirataOnhostBoti pro*. - Nejvýš jeden požadavek za 10 sekund na jednu doménu, malé dávky, žádné souběžné požadavky; při odpovědi 401, 403 nebo 429 se zastaví.
- Veterinární kliniky přebíráme z OpenStreetMap jedním dotazem na zemi týdně (licence dat).
Jak ho zablokovat
Do robots.txt přidejte:
User-agent: ZvirataOnhostBot Disallow: /
Vypnout sběr pro moji doménu
Po odeslání sběr z domény hned zastavíme a nabídky získané ze stránek odstraníme (nejpozději do 24 hodin). Nemusíte nic dokazovat – zastavení je vždy bezpečné.