Блокирование URL страницы в файле robots.txt не означает, что данный адрес не будет индексироваться в поиске Google .
Как отметил специалист компании, Джон Мюллер, система не сканирует указанный сайт, но сохраняет информацию о нем. Это и приводит к тому, что в выдаче можно увидеть заголовок и описание закрытой страницы.
Вопрос был поднят на очередной веб-конференции, которую Мюллер провел для специалистов, занимающихся продвижением сайтов. Веб-мастеров заинтересовало, почему же в SERP появляются описания страниц и заголовки с закрытых адресов.
По словам эксперта, система берет их непосредственно из ссылок. Как добавил один из коллег Мюллера, информация в файле robots.txt сигнализирует Гуглботу лишь о том, какие страницы не требуется сканировать. Для того, чтобы сайт не попадал под индексацию, можно применить определенную команду в мета-теге robots. Также для этого используются HTTP-заголовки X-Robots-Tag.
Однако для того, чтобы поисковик следовал этому условию, он должен получить доступ к проведению сканирования таких страниц.
