Недавно Джон Мюллер из Google ответил на вопрос о том, как удалить взломанные URL, которые все еще отображаются в поисковом индексе. Он подробно объяснил, как убрать сайты из результатов поиска, и обсудил все нюансы работы в такой ситуации.
Удаление взломанных страниц из поисковой выдачи Google
Человек, задавший вопрос, стал жертвой так называемой «японской» хакерской атаки, когда злоумышленники создают сотни или даже тысячи фальшивых веб-страниц на японском языке. Пользователь справился с проблемой и удалил зараженные страницы, оставив вместо них страницы с ошибкой 404. Однако Google все еще ссылается на них в результатах поиска.
Теперь ему нужно полностью удалить их из индекса Google, чтобы сайт больше не ассоциировался с этими страницами. Он спросил:
«Мой сайт недавно подвергся «японской» атаке. Я перенес сайт на нового хостинг-провайдера и удалил все данные оттуда. Однако факт в том, что множество японских URL было проиндексировано. Как мне удалить из индекса эти тысячи URL с моего сайта?»
Этот вопрос отражает распространенную проблему после «японской» хакерской атаки: взломанные страницы упорно остаются в индексе еще долгое время после их удаления. Это доказывает, что восстановление сайта не заканчивается на удалении вредоносного контента. Поисковому индексу Google тоже нужно очиститься от этих страниц, и этот процесс может занять неприятно много времени.
Как удалить страницы «японской» хакерской атаки из Google
Джон Мюллер из Google порекомендовал использовать Инструмент удаления URL в Search Console. Вопреки названию, этот инструмент не удаляет URL из поискового индекса. Он просто ускоряет их исчезновение из результатов поиска Google, если контент уже удален с сайта или заблокирован для краулера Google.
В обычных условиях Google удаляет страницу из результатов поиска после того, как ее обойдет краулер и заметит, что она заблокирована или удалена (ответ сервера 404).
Три предварительных условия для Инструмента удаления URL
- Страница удалена и возвращает код ответа сервера 404 или 410.
- URL заблокирован от индексации с помощью мета-тега robots: <meta name=”robots” content=”noindex”>
- URL запрещен для обхода crawler'ом в файле robots.txt.
Мюллер ответил:
«Вы можете использовать инструмент удаления URL в Search Console для отдельных URL (даже если URL начинаются с одного и того же). Я бы использовал его для тех, которые особенно заметны (проверьте отчет о производительности, данные за 24 часа).
Это не удаляет их из индекса, но скрывает их в течение суток. Если страницы теперь недействительны / выдают 404, они со временем тоже выпадут, но инструмент удаления означает, что вы можете немедленно остановить их показ. (Редирект на 404 – оба варианта технически допустимы, 404 – это правильный код ответа)»
Мюллер уточнил, что Инструмент удаления URL не стирает URL из индекса Google, а лишь скрывает их из результатов поиска быстрее, чем это произошло бы при естественном переобходе. Его объяснение – это напоминание о том, что инструмент оказывает временный эффект на видимость в поиске и не является способом навсегда удалить URL из самого индекса Google. Фактическое удаление из поискового индекса происходит после того, как Google убедится, что страница действительно удалена или заблокирована для сканирования и индексации.