Алейда Солис провела эксперимент, чтобы проверить, насколько быстро ChatGPT индексирует веб-страницу, и неожиданно обнаружила, что ChatGPT, по-видимому, использует результаты поиска Google в качестве запасного варианта для веб-страниц, к которым он не может получить доступ или которые еще не проиндексированы в Bing.
По словам Алейды:
«Я провела простой и понятный тест, который подтверждает зависимость ChatGPT от фрагментов результатов поиска Google в своих ответах.»
Создана новая веб-страница, еще не проиндексированная
Алейда создала совершенно новую страницу (под названием «Генератор LLMs.txt») на своём сайте LearningAISearch.com. Она сразу же проверила ChatGPT (с включённым поиском), чтобы проверить, может ли он получить доступ к странице или найти её, но ChatGPT не смог её найти. ChatGPT ответил, что URL-адрес не проиндексирован публично или, возможно, устарел.
Затем она запросила информацию об этой веб-странице у Google Gemini, который успешно извлек и обобщил актуальное содержимое страницы.
Веб-страница отправлена для индексации
Затем она отправила веб-страницу на индексацию через Google Search Console и Bing Webmaster Tools. Google успешно проиндексировал веб-страницу, но у Bing возникли проблемы.
Спустя несколько часов Google начал показывать результаты поиска страницы с оператором site: и прямым поиском по URL. Однако у Bing по-прежнему возникали проблемы с индексацией веб-страницы.
Проверила ChatGPT
Алейда вернулась к ChatGPT, и после нескольких попыток он выдал ей неполный обзор содержимого страницы, упомянув только один инструмент, указанный в списке. Когда она спросила ChatGPT об источнике этого неполного фрагмента, тот ответил, что используется «кэшированный фрагмент веб-поиска», вероятно, «индексированный поисковой системой».
Она подтвердила, что фрагмент, показанный ChatGPT, соответствует фрагменту результата поиска Google, а не Bing (который все еще не проиндексировал его).
Алейда объяснила:
«Отрывок откуда?
Когда я продолжила спрашивать, откуда они взяли этот фрагмент, показываемую информацию, ответ был следующим: «Они обнаружили кэшированный фрагмент через веб-поиск, который позволяет предварительно просмотреть содержимое страницы — вероятно, из-за индексации поисковой системой».
Но я знала, что страница ещё не проиндексирована в Bing, так что это должно быть… в результатах поиска Google? Я решила проверить.
Когда я сравнила текстовый фрагмент, предоставленный ChatGPT, с тем, который показан в результатах поиска Google для конкретной страницы Learning AI Search LLMs.txt Generators, я смогла подтвердить, что это была одна и та же информация…»
Не единичный случай
Статья Алейды о её находке ( Подтверждено: ChatGPT использует фрагменты результатов поиска Google для ответов [Тест с доказательством] ) ссылается на другую веб-страницу, где описывается аналогичный опыт использования ChatGPT фрагмента результатов поиска Google. Так что она не единственная, кто столкнулся с подобной ситуацией.
Доказательство того, что традиционное SEO остается актуальным для поиска на базе искусственного интеллекта
Алейда также задокументировала произошедшее в посте на LinkedIn , где Кайл Этуотер Морли поделился своим наблюдением:
«То есть ChatGPT по сути использует фрагменты Google для генерации ответов?
Какой тревожный звонок для тех, кто думает, что традиционное SEO мертво».
Стефан Бюро поделился своим мнением о происходящем:
«Если результатов Bing недостаточно, система, по-видимому, прибегает к извлечению фрагментов результатов поиска Google».
Позже в ходе обсуждения он более подробно остановился на своем посте:
«Основываясь на имеющихся данных, вот моя уточненная теория:
Когда просмотр включен, ChatGPT сначала отправляет поисковые запросы через Bing (что видно в журналах DevTools).
Однако если результаты Bing недостаточны или устарели, система, по-видимому, прибегает к извлечению фрагментов результатов поиска Google SERP — вероятно, через недокументированный прокси-сервер или вторичный API.
Это объясняет, почему некоторые ответы содержат дословные фрагменты Google, которые никогда не появляются в ответах API Bing.
Я видел множество случаев, которые соответствуют такому поведению с двойным источником».
Заключение
Изначально ChatGPT не мог получить прямой доступ к странице, и только после того, как страница начала появляться в результатах поиска Google, он смог отвечать на вопросы о ней. Как только фрагмент появился в результатах поиска Google, ChatGPT начал ссылаться на него, что свидетельствует о его зависимости от общедоступных фрагментов поиска Google в качестве резервного варианта, когда те же данные недоступны в Bing.
Было бы интересно узнать, содержат ли логи сервера информацию о том, пытался ли ChatGPT просканировать страницу, и если да, то какой код ошибки был возвращён в ответ на неудачную попытку получения данных. Любопытно, что ChatGPT не смог получить страницу, и хотя это, вероятно, не имеет никакого отношения к выводам, всё же было бы полезно сделать выводы более полными, если бы этот последний фрагмент информации был вычеркнут.
Тем не менее, похоже, это ещё одно доказательство того, что стандартная поисковая оптимизация всё ещё применима к поиску с использованием ИИ, включая поиск ChatGPT. Это дополняет недавние комментарии Гэри Иллеса, подтверждающие, что для высоких позиций в Google AI Overviews и AI Mode не требуется специализированное гео- или локальное географическое положение (GEO) или AEO .