PolishWebSearchBot
To robot indeksujący strony główne na potrzeby polskiej wyszukiwarki Giguś, skupionej przede wszystkim na krajowych stronach. Nie podąża za linkami i nie skanuje podstron.
- User-Agent
- PolishWebSearchBot/1.0 (+https://xn--gigu-o5a.pl/o-robocie; mailto:kontakt@xn--gigu-o5a.pl)
- Publiczny adres IP
- 78.10.190.43
- Reverse DNS
- crawler.xn--gigu-o5a.pl
- Kontakt i rezygnacja z indeksowania
- kontakt@xn--gigu-o5a.pl
Zasady pobierania
- pobieramy wyłącznie zgłoszony adres strony głównej i konieczne przekierowania;
- respektujemy robots.txt, metatag noindex oraz nagłówek X-Robots-Tag;
- zachowujemy co najmniej 30 dni odstępu pomiędzy sesjami dla jednej domeny;
- używamy ETag i Last-Modified, aby nie pobierać niezmienionej treści;
- na prośbę właściciela usuwamy domenę z indeksu.