Рассказываем, как выбрать страницы фильтров по спросу и ассортименту и остановить ловушки обхода.
О чем эта статья
Индексировать нужно страницы фильтров с подтвержденным спросом на самостоятельную товарную подборку. Ассортимент должен отвечать запросу, а магазин — поддерживать постоянный URL и актуальный список товаров. При этом подборка не должна дублировать существующую посадочную.
Ловушки обхода можно остановить через правила генерации адресов и запрет в robots.txt для маршрутов без самостоятельной поисковой задачи. Выбранные посадочные и пагинация, через которую робот находит товары, должны остаться доступными.
Разберем, как быть с ловушками обхода на конкретном примере, а затем как проверить их по отчету PR-CY.
Кому пригодится эта статья
-
сеошникам, которые выбирают посадочные и разбирают обход каталога,
-
разработчикам, которые задают правила для URL,
-
руководителям интернет-магазинов, которые принимают доработки.
Представьте: вы добавляете фильтры, чтобы покупателю было легче выбрать водонагреватель. Он находит нужную ему модель, а потом вы открываете отчет об обходе и получаете целую россыпь адресов с теми же товарами. Переставили параметры — получаете новый URL, изменили сортировку — получаете еще один. И теперь вам приходится разбираться, зачем вообще поисковику все эти страницы.
Почему фильтры создают ловушку обхода
Допустим, покупателю нужен накопительный водонагреватель на 50 литров. Он отмечает объем, затем бренд и способ установки. По получившемуся списку можно сравнить модели, не открывая все карточки подряд. Такой выбор по нескольким характеристикам называется фасетной навигацией.
Как же появляется ловушка обхода? Иногда сайт присваивает адрес каждому состоянию фильтра и отдает ссылки на него. Робот обнаруживает новые сочетания параметров, к ним добавляются сортировки и страницы пагинации. Товары остаются теми же, но URL становится больше. Ловушка обхода появляется тогда, когда сайт непрерывно выдает новые адреса с дублирующимся контентом или сочетаниями, за которыми не стоит поисковая задача.
Сравните запросы робота с категориями страниц и переходами из поиска. Если большую часть обхода занимают внутренний поиск и произвольные сочетания, именно с них начинается разбор. Но прежде чем закрывать маршруты, нужно решить, какие подборки вы хотите сохранить в поиске.
Кейс по теме: у компании Skroutz в 2018-2019 годах более половины обхода Googlebot приходилось на внутренний поиск, как сообщает инженерная команда. Многие такие страницы не получали трафика. Команда распределила адреса по типам, сохранила востребованные запросы и фильтры, настроила редиректы и noindex, исправила генерацию ссылок. После комплекса изменений индекс сократился примерно с 25 млн до 7,6 млн URL.
Какие комбинации фильтров индексировать
Вернемся к нашему водонагревателю. Объем бака влияет на выбор товара, поэтому фраза «водонагреватель 50 литров» может вести на подборку моделей. А запрос об установке требует объяснения монтажа. Одна и та же характеристика встречается в обоих запросах, но покупателю при этом нужны разные страницы.
Для выбранной категории соберите запросы по объему, бренду, типу нагрева и монтажу. Например, их можно объединять по сходству выдачи. Сравнение результатов в нужном регионе покажет, где поисковик отдает товарные подборки, где инструкции, а где карточки конкретной модели.
Дальше все решает ассортимент. Открыв страницу «50 литров», покупатель должен сразу увидеть водонагреватели подходящего объема и иметь возможность сопоставить модели. Если выбранных товаров нет в наличии, одного релевантного запроса уже не хватит. Стоит выяснить, как магазин обновляет ассортимент в этой категории и сможет ли сохранять подборку актуальной.
Если в категории, подкатегории или на индексируемой странице фильтра закончилась часть товаров, доступные для заказа позиции нужно показывать первыми, а временно отсутствующие — ниже, с отметкой «Нет в наличии». Удалять страницу или менять ее адрес из-за колебаний остатков не нужно.Если же временно закончились все товары, но поставки ожидаются, страницу можно сохранить вместе со списком товаров. Рядом с каждой позицией надо обозначить отсутствие и указать срок поступления. А вместо кнопки покупки разместить «Сообщить о поступлении» с формой подписки на уведомление.Доступные аналоги товара, которые не соответствуют условиям фильтра, лучше вынести в отдельный блок и пояснить различия. Это поможет посетителю выбрать замену, если он не готов ждать поступления.Ольга Костенко, SEO-маркетолог, руководитель агентства okostenko.agency
Отказаться от нового адреса можно и по другой причине. Допустим, в каталоге уже существует подкатегория, которая отвечает на те же запросы и показывает тот же набор товаров. Покупатель уже может выбрать нужную модель на этой странице, поэтому дублировать ее через фильтр незачем.
Кейс по теме: как описывает команда 1PS, для компании Rondo специалисты создали 56 посадочных под более чем 100 запросов по водонагревателям и радиаторам. Сначала собрали и сгруппировали запросы, затем подготовили адреса, метаданные и место в Sitemap. В отчете за 2020 год для региона Владивосток запрос «радиаторы биметаллические 500 мм» поднялся с 24-й на 2-ю позицию между 10 марта и 30 ноября.
Размер радиатора в кейсе задает условие выбора товара. В случае с водонагревателем эту роль выполняет объем бака. Этот признак дает подборке смысл для покупателя, а спрос и выдача помогают решить, нужна ли ей собственная страница. По итогам отбора магазин получает список посадочных страниц, для которых нужно задать адреса и выстроить связи в каталоге.
Как посадочная становится частью каталога
Начнем с адресов. К примеру, дадим накопительным водонагревателям на 50 литров адрес https://example.com/catalog/vodonagrevateli/50-litrov/. Он открывает уже отфильтрованный список, возвращает HTTP 200 и доступен роботу. На выбранной посадочной нет noindex ни в meta robots, ни в HTTP-заголовке X-Robots-Tag, а robots.txt разрешает ее обход.
Категория ссылается на подборку через . Внутренние ссылки, canonical и Sitemap используют выбранный адрес. По рекомендациям Google для URL магазина, адрес с параметрами тоже допустим. Если же подборка открывается через ?volume=50, эта версия должна совпадать в ссылках, canonical и карте сайта.
Осталось объяснить посетителю, куда он попал. В этом помогают Title и H1 (называют объем и тип товара), список (показывает соответствующие модели) и текст (помогает сравнить характеристики и сообщает о доставке и наличии).
Если под каждой комбинацией повторять одно описание, покупатель не узнает из него, чем отличаются подборки. Для водонагревателей на 50 литров нужны сведения, которые помогают выбрать модель из этого списка. Не нужно создавать объемный сеошный текст для каждого варианта настройки фильтра.
Покупатель может изменить сортировку и получить тот же набор моделей по другому адресу. Такой вариант уже не требует новой посадочной, зато для него нужно задать поведение сервера.
На посадочной важно показывать активные условия отбора в самом фильтре и давать возможность снять каждое из них отдельно. Посетитель из поиска должен легко расширить выбор, если предложенные модели ему не подошли, — без возврата в начало каталога.Ольга Костенко, SEO-маркетолог, руководитель агентства okostenko.agency
Как остановить ловушки и сохранить путь к товарам
Фильтры можно распределять между индексируемыми страницами, страницами с noindex и страницами с закрытым обходом. Выбор зависит от задачи вашего адреса. Дубль подборки, доступная пользователю страница без поискового спроса и невозможное сочетание — все эти варианты требуют разных действий.
Дубли одной подборки
Перестановка ?brand=ariston&volume=50 в ?volume=50&brand=ariston никак не меняет задачу покупателя. При совпадающем содержимом вы выбираете одну версию для ссылок и затем настраиваете перенаправление другого адреса на нее. Если различается только сортировка того же набора товаров, canonical указывает на версию без сортировки.
Canonical сообщает предпочтительный URL для одинаковых или очень похожих страниц. А у подборки 50 литров иной ассортимент, чем у страницы категории со всеми объемами. Поэтому нужно назначить ей собственный адрес, даже если обе страницы используют один шаблон.
Редирект и canonical передают поисковикам сильные сигналы для выбора основной страницы, причем сигнал Sitemap слабее их, как уточняет Google. Для альтернативных адресов одной подборки эти решения нужно согласовать с версией во внутренних ссылках.
По дефолту рекомендую не добавлять ссылки на фильтрации в html и закрывать их от сканирования и индексации (meta robots = noindex). Далее, важно всегда (!) исходить из спроса, т.е. из семантики. Рекомендую при проработке категории/раздела создавать теговые страницы (страницы-фильтрации, на которые есть спрос) и выводить их через «облако тегов» над каталогом, также они должны присутствовать в файле sitemap.xml.Дополнительно стоит проанализировать SERP, так как даже если есть некий НЧ-спрос по Wordstat («!WS» или «WS»), это не значит, что в ТОПах выдачи ПС будут ранжироваться такие страницы. Зачастую там уже могут присутствовать карточки товаров или более крупные разделы (например, красные шапки, а не красные шапки с помпоном).Здесь важно найти грань, чтобы не плодить МПК-страницы (на которые будет тратиться краулинговый бюджет, и они не будут ранжироваться), но покрыть потенциальный спрос.Иван Сиваков, Senior SEO компании WSS. Специалист в области E-commerce, Fintech, Medicine, AIO
Доступная страница без места в поиске
Если посетителям нужна страница, которую вы хотите убрать из поисковых результатов, сохраните ее обход. Просто задайте noindex в HTML или HTTP-заголовке. В HTML это выглядит так:
Робот должен получить страницу, чтобы прочитать noindex. В Search Console проверьте, обработал ли он правило, и лишь после этого решите, нужен ли долгосрочный запрет обхода. Иначе бот не прочитает указание удалить страницу из поиска.
Маршрут, который не нужно обходить
Для многочисленных состояний без самостоятельной поисковой задачи подойдет путь, который не пересекается с выбранными посадочными. В нашем магазине это /catalog/filters/, а страницы 50 литров остаются в /catalog/vodonagrevateli/. Обход можно запретить директивой Disallow:
User-agent: * Disallow: /catalog/filters/
После выбора маршрута настройте robots.txt и проверьте, что правило сохраняет доступ к посадочным. Но запрет не объясняет, откуда сайт продолжает отдавать новые адреса. Поэтому следующая часть разбора касается самого фильтра.
💌 Еженедельная рассылка
Подпишитесь на нашу рассылку — раз в неделю будем отправлять на ваш email свежую статью из блога и другие полезные материалы.
Я даю согласие на обработку моих персональных данных и получение рекламных материалов.
Источник новых адресов
Выбираем условия в разном порядке, отмечаем несколько значений одного свойства, меняем сортировку. Для одного набора условий должен получаться один URL с постоянным порядком параметров и стандартным разделителем &. Когда во внутренние ссылки добавляют идентификатор сессии или текущее время, адреса меняются, а содержимое остается прежним. Если у вас встречаются такие параметры, удалите их из ссылок.
Для Яндекса параметры, которые не меняют содержимое страницы, можно дополнительно указать в директиве Clean-param. Это помогает сократить повторный обход одинаковых страниц. Параметры характеристик, меняющих состав товаров, под это правило не подходят — при наличии поискового спроса их сочетания могут стать основой отдельных оптимизированных посадочных.Ольга Костенко, SEO-маркетолог, руководитель агентства okostenko.agency
Невозможные и повторные фильтры не должны плодить бесконечные ветки. Поэтому проверьте, что элементы интерфейса не ведут на заведомо пустые сочетания, а сервер возвращает HTTP 404 по невозможному адресу, в том числе при переходе из сохраненной ссылки. В интерфейсе можно показать сообщение и предложить изменить свой выбор.
Для посадочных сохраните доступные HTML-ссылки. Прочие состояния могут оставаться в интерфейсе без самостоятельных адресов для обхода. Google допускает хранение неиндексируемого выбора во фрагменте после #.
Кейс по теме: как сообщает инженерная команда Skroutz, после внедрения React Googlebot запрашивал комбинации, URL которых находились в inline-скрипте. Инженеры проверили гипотезу тестовым адресом — бот запросил и его. Значит, при разборе источника новых адресов нужны исходный HTML, отрендеренная страница и логи.
Пагинация, через которую робот находит товары
После всех запретов у робота должен сохраниться путь к карточкам, в том числе к моделям за пределами первой страницы. Основная категория и выбранные подборки ведут к ним через внутренние ссылки каталога.
Каждой странице последовательности нужны собственный URL и canonical на себя. Например, вторая страница нашей подборки будет выглядеть так:
Следующая страница
Переходы нужно оформить через с адресами страниц. После назначения canonical у вариантов сортировки на каждой странице пагинации сравните состав товаров. Так, если в подборке всего четыре страницы, запрос ?page=5 должен возвращать 404 по исходному URL.
Есть 2 варианта настройки пагинации:1) Яндекс рекомендует настраивать тег canonical на первую страницу каталога (например, есть site.ru/futbolki/page-N, canonical должен быть настроен на раздел site.ru/futbolki) у всех последующих страниц пагинации (2,3,4 и.т.д).2) Google же рекомендует использовать тег canonical каждой страницы пагинации самой на себя (например, есть site.ru/futbolki/page-N, canonical должен быть настроен на соответствующую страницу site.ru/futbolki/page-N), а мета-теги — деоптимизированны (например, для страницы пагинации Title может быть: «Каталог футболок — страница N»). Кстати, совсем недавно, в августе 2026, Яндекс также стал ситуативно рекомендовать и такой способ.Выбор метода зависит от того, какого типа ваш сайт, однако для крупных e-commerce стоит использовать self-canonical. Для небольших сайтов с небольшой ассортиментностью вполне допустим первый способ.Иван Сиваков, Senior SEO компании WSS. Специалист в области E-commerce, Fintech, Medicine, AIO
Как найти расхождения в «Аудите сайта»
В браузере наша подборка выглядит готовой — товары на месте, заголовок подходит. Но по ее внешнему виду нельзя определить, какие указания для робота попали в метатеги и HTTP-заголовки. Проверить посадочную и ее технические варианты по списку URL можно в «Аудите сайта».
Список может выглядеть, например, так:
https://example.com/catalog/vodonagrevateli/50-litrov/
https://example.com/catalog/vodonagrevateli/50-litrov/?sort=price
https://example.com/catalog/vodonagrevateli/50-litrov/?page=2
https://example.com/catalog/vodonagrevateli/50-litrov/?page=5
Здесь собраны основная посадочная, сортировка, вторая страница и несуществующая пятая. На них можно проверить разные правила, сохранив при этом один пример.
-
Откройте проект магазина или создайте проект с его доменом.
-
В настройках аудита оставьте включенным только режим «Мой список страниц» и вставьте адреса для проверки.
-
Задайте число запросов в секунду, которое выдержит сервер. Включите соблюдение robots.txt и проверьте, что нужные URL не попали в исключения.
-
В разделе «Сводка» нажмите «Новая проверка» и дождитесь завершения аудита.
Настройки аудита В результате вы получите сводку по проверенным страницам и данные каждого адреса.
Результаты по сводке В разделе «Аудит» откройте «Страницы сайта», нажмите «Добавить фильтры», выберите «URL равен» и введите полный адрес посадочной. В найденной строке сверьте HTTP-код, noindex в HTML или HTTP-заголовке и canonical с назначением страницы.
Раздел «Страницы сайта» с фильтром Представим, что выбранная вами подборка отвечает HTTP 200, но при этом содержит noindex. Тогда ТЗ для исправления ситуации может быть таким:
Убрать noindex для /catalog/vodonagrevateli/50-litrov/ в том месте, где он задан — meta robots или X-Robots-Tag. Проверить условие в шаблоне, чтобы исключить из запрета утвержденные посадочные. Для указанного URL сохранить HTTP 200 и canonical на себя.
После правок запустите новую проверку с тем же списком URL и сопоставимыми настройками, затем сверьте дату результата. У основной посадочной должен быть HTTP 200, разрешенный обход, отсутствие noindex и canonical на себя. При этом альтернативный адрес той же подборки должен вести к выбранной версии или содержать согласованный canonical, а ссылки каталога — использовать основной URL.
Что еще важно учесть во время проверки
Запрет в robots.txt должен закрывать ненужный динамический маршрут и сохранять доступ к посадочным. Для пустых сочетаний и несуществующей пагинации сервер возвращает HTTP 404 по запрошенному адресу. Этот ответ проверьте прямым запросом к серверу.
Чтобы перейти от категории и страниц пагинации к карточкам, используйте режим обхода «Следовать по найденным ссылкам». Он покажет связи, которые не проверяет запуск только по заданному списку. В эту часть приемки включите товары, которых нет на первой странице подборки.
В логах после релиза сравните обращения робота по тем же группам (категориям, выбранным посадочным, прочим фильтрам, сортировкам и внутреннему поиску). Число запросов к ненужным URL, разделенное на общее количество запросов за тот же период, даст вам долю такого обхода.
Распределение по маршрутам изучите в серверных логах. Индексацию и выбранный canonical проверьте в отчете индексирования и проверке конкретного URL. И уже по поисковым данным выясните, появились ли выбранные подборки в выдаче и какие запросы дают клики.
Вопросы, которые могли у вас остаться
Можно ли создавать посадочную, если Вордстат показывает ноль?
Проверьте близкие запросы, целевой регион и статистику за сезон. Если в Яндекс Вебмастере или Google Search Console уже видны показы страниц магазина по таким запросам, на основе этой статистики запустите несколько посадочных в тестовом режиме. Дождитесь, пока они попадут в индекс, проверьте показы и переходы и только потом увеличивайте их количество.
Есть ниши (и сезоны), когда WS может показывать 0, в таком случае лучше прогонять такие запросы, например, Wordkeeper`ом. У него есть сбор годовой частотности. В ряде ниш это прям маст-хев, где спрос либо нестабильный (ярко выраженный сезонный), либо частотность запросов в самой тематике достаточно низкая, в рамках месяца.Иван Сиваков, Senior SEO компании WSS. Специалист в области E-commerce, Fintech, Medicine, AIO
Стоит ли небольшому магазину заниматься краулинговым бюджетом?
Посчитайте, сколько комбинаций доступно, и проверьте по логам, как поисковый робот обращается к страницам. Если он вовремя находит новые товары и не тратит значительную часть обхода на ненужные URL, начните с выбора посадочных и удаления дублей.
Как поступить с посадочной, на которую не приходит трафик?
Сначала проверьте доступность посадочной, индексацию, запросы и ассортимент. Если ее задачу уже выполняет другая страница, объедините версии и перенаправьте старый адрес на эквивалентную подборку. А для окончательно исчезнувшей подборки безэквивалентной страницы удалите ссылки и верните 404.
Как правильно оформить страницу фильтра, на которую есть поисковый спрос?
Сделайте страницу фильтра полноценной посадочной: задайте понятный ЧПУ, подготовьте уникальные Title, Description и H1 под целевой запрос. Добавьте внутренние ссылки из каталога — например, через блок популярных подборок или «облако тегов».
Что делать, если оптимизированная страница фильтра не попадает в индекс Google?
Если в Google Search Console появился статус «Просканирована — в настоящее время не проиндексирована», проведите аудит страницы. Проверьте количество и релевантность товаров, наличие дублей, настройки индексации и внутренние ссылки. Сравните страницу с конкурентами из топ-10: какие типы страниц ранжируются, насколько широк их ассортимент и как они оптимизированы. Возможно, по запросу пользователи ищут конкретный товар, поэтому в выдаче преобладают карточки, а не каталожные подборки.
Если спрос есть и ему соответствует именно страница фильтра, доработайте ее. Уделите внимание названиям товаров, характеристикам, заголовкам и тексту: важны ли для запроса признаки, которые конкуренты раскрывают, а вы — нет?
Как поддерживать актуальность страницы фильтра, если товары закончились или ассортимент меняется?
Настройте фильтрацию так, чтобы новые товары автоматически попадали в соответствующие подборки. Для этого у всех товаров должны быть заполнены нужные атрибуты, в том числе при добавлении нового ассортимента. Если подборка временно опустела, укажите это и предложите подходящие альтернативы.
Полезные инструменты
Анализ сайта SEO анализ страницы сайта Проверка индексации страницы Выгрузка ТОП-10 URLs Разовая проверка позиций Кластеризация ключевых слов Определение намерений пользователя Генератор ALT-тегов Генератор мета-тегов Генератор семантических слов
Источник
