rtr2 (12.08.2015 / 22:14)

Вот список ботов, что просто живут у меня:

Twiceler[bot] twiceler/
Yandex [bot] Yandex/
Rambler[bot] StackRambler/
MailRu[bot] Mail.Ru/
WebAlta[bot] WebAlta Crawler/
Изм. rtr2 (12.08.2015 / 22:15) [2]

БоБ (12.08.2015 / 22:10)

admin, Вот вам друзья:
Yandex [Bot] UserAgent: Yandex
Rambler [Bot] UserAgent: Rambler
GoGo.Ru [Bot] UserAgent: Mail.Ru
Кто нибудь может сказать чё это за бот? бывает чаще гугля...
Сuill [Bot] UserAgent: Twiceler-0.9

admin (Создатель) (12.08.2015 / 21:55)

Вот информация из FAQ самого Яндекса.



Yandex писал(а):
А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?


У Яндекса есть несколько роботов, которые представляются по-разному.
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

В соответствии...
Читать все >>

admin (Создатель) (12.08.2015 / 21:52)

Yandex/1.01.001 (compatible; Win16; I)


Пояндексил, нашел следующие ip яндекса (подсети):
77.88.0.0
84.201.0.0
87.250.0.0
93.158.0.0
95.108.0.0
178.154.0.0
199.36.0.0
213.180.0.0

Возможны не точности
User-agent Яндекса•Yandex/1.01.001 (compatible; Win16; I) — основной робот

•Yandex/1.01.001 (compatible; Win16; P) — картинки

•Yandex/1.01.001 (compatible; Win16; H) — для зеркал сайтов

•Yandex/1.02.000 (compatible; Win16; F) — пиктограммы сайтов (favicons)

•Yandex/1.03.003 (compatible; Win16; D) — робот при добавлении ее через форму «Добавить URL»

•Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»

•YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы, участвующие в Директе

•YandexBlog/0.99.101 (compatible; DOS3.30, B) – для xml-файлы (поиск по блогам).

•YandexSomething/1.0 – новостные потоки партнеров Яндекс-Новостей.

admin (Создатель) (12.08.2015 / 21:49)

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается.
Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.


Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.

Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.

Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.

Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, которы...
Читать все >>
Изм. admin (12.08.2015 / 21:49) [1]