Что особенно важно - эти ссылки могут быть вообще нигде не видны, их может не быть ни на одном видимом сайте в Интернете. Важно, что пользователь набирает или открывает эти ссылки в браузере. Именно на этом этапе происходит "стук" - браузер передаёт набранный адрес поисковой системе.
Отсюда возникает занятный парадокс для вебмастеров - сегодня сайт может быть проиндексирован абсолютно без всяких ссылок, только по факту вашего захода на него через тестовые браузеры (этап, который трудно избежать).
Как это происходит? -
Конспект отчёта
Выглядело это так: девушка на одном из сайте знакомств обратилась в поддержку, что система приписывает ей просмотры - то есть якобы она ходит и смотрит чужие анкеты чаще, чем следует. Админ покопался и выяснил, что происходит
1. Пользователям по электронной почте рассылают уникальные ссылки с "автологином" (это механика сайта)
2. Девушка прошла по ссылке 1 раз, к примеру
3. Через некоторое время по этой же ссылке прошел Yandex-бот
Важность доказательства
Как я уже писал в комментариях, очевидность - не союзник истины. Документированное доказательство - союзник. И это - документированное доказательство старой легенды вебмастеров - что Яндекс способен видеть действия пользователя. Он способен видеть, по каким ссылкам кликает человек.
Раньше было так - поисковые системы ходят только по тем ссылкам, которые опубликованы на сайтах. Алгоритмы были сайто-центричными. Если ты заходил на сайт по ссылке из других источников (почта, мессенджеры, ссылка в документе Word) - это действие считалось как бы невидимым и недоступным. И ссылку, по которой кликал человек, Яндекс мог заметить только у себя на своем сайте.
Теперь с распространением браузеров, аффилированных с поисковиками, он может видеть все ссылки, которые открываются в этих браузерах.
У Яндекса - и это теперь можно считать доказанным - это аффилированная Opera (сборка от Яндекса, фигурирует в отчете администратора) и Яндекс-браузер.
Использует ли данную механику Google в Chrome? Учитывая, что ранее были доклады, что Google-бот посещает ссылки, которые передаются даже в GMail - скорее всего, да.
Скриншот лога - через 2 секунды после пользователя по уникальной ссылке проходит Яндекс-бот. Через 2 секунды.
Выводы:
1. Для тестирования сайта на этапе разработки следует закрывать его от индексирования через robots.txt - это работает. На то, что нет ссылок, надеяться не надо.
2. Как влияют такие переходы пользователей на ранжирование сайта в выдаче - пока неизвестно. Но теперь ясно, что Яндекс способен оценить закладочный траффик.
О других выводах подумаю позднее.
