Фильтры, санкции и алгоритмы Google

Обновлен подробный материал о санкциях Google и способах их избежать. Фильтры и алгоритмы поисковых систем. Эта статья содержит множество ссылок на документацию и новости Google. Мы собрали их для того, чтобы вы не теряли здесь время при изучении этой темы.

Что такое фильтры и санкции

В русскоязычной части Интернета используются два понятия – «алгоритмические фильтры» и «ручные санкции», которые различаются механизмом действия.

Если органический трафик и рейтинги внезапно начинают падать, но серьезных изменений или технических проблем на сайте нет, причин может быть три:

• Сайт проверяется сотрудниками поисковой системы и действия предпринимаются вручную – это санкции;

• Сайт был отфильтрован из-за нарушений. Фильтры являются частью алгоритмов поисковых систем, и их сотрудники не контролируют напрямую их влияние на конкретные сайты;

• Обновление алгоритма Google привело к падению рейтинга, хотя сайт не был наказан, другие сайты просто были лучше в определенных аспектах.

Каждое обновление алгоритма решает какую-то проблему или несколько задач одновременно — отображение наиболее полезных и достоверных текстов, прекращение использования купленных ссылок для продвижения, удаление страниц со спам-ключевыми словами из результатов поиска и т д.

Обновления часто вызывают изменения в результатах поиска; они могут снизить рейтинг сайта и полностью или частично удалить его из результатов поиска.

Если сайт попадает под алгоритм, его владелец не получит никакого уведомления, поэтому выводы придется делать на основе косвенных доказательств. Обычно это выглядит так: трафик падает, страница теряет позиции или вообще исчезает из результатов поиска. Скорее всего, в обсуждениях на форумах и в социальных сетях кто-то скажет вам, что заметил такие же симптомы. Хорошая новость в том, что позиции можно со временем восстановить, не требуя от вас дополнительных действий.

Вот что они сказали об этом в блоге Google:

Если производительность страницы падает после обновления определенного ключа, это не означает, что с ними что-то не так. Это может произойти, даже если эти страницы не нарушают нашу политику в отношении спама и не подлежат ручным или автоматическим действиям (в отличие от страниц, нарушающих наши правила). Критические обновления не относятся к конкретной странице или сайту. Они предназначены для того, чтобы наши системы могли лучше оценивать общий контент. В результате ранее плохо работающие страницы могут увидеть повышение своего рейтинга после внедрения обновления.

Если сайт нарушает правила и его поймают, на него также могут повлиять индивидуально — это называются фильтрами.

Чтобы проверить это, сравните лучшие результаты по интересующему вас запросу до и после обновления. Если изменения коснутся только вашего сайта, то это фильтр. Если изменение в рейтинге существенное, например, половина веб-сайтов выпадает из ТОП-10 или меняются первые 3 веб-сайта, то это, скорее всего, и есть общий эффект алгоритма.

Веб-сайты фильтруются за нарушение принципов добросовестной оптимизации: «серые» методы продвижения, спам-ключи и ссылки, отображение разного контента как для поисковых роботов, так и для пользователей. Кроме того, фильтр могут активировать технические проблемы, контент низкого качества и неприемлемый контент.

Английский и немецкий разделы Интернета Google считаются самыми «чистыми» методами нечестного продвижения. Остальной Интернет оптимизирует сайты, находящиеся на грани фильтра. Это самый простой способ достичь вершины, но при нем любое незначительное изменение алгоритма может заставить вас изменить всю стратегию продвижения.

Фильтры, которые стали частью алгоритма

Некоторые фильтры имеют официальные названия, например «Панда» и «Пингвин». Но они уже не работают как отдельные сущности, а включены в основной алгоритм поиска и могут использоваться одновременно — кстати, именно они чаще всего являются целевыми.

Известные фильтры стали частью единого алгоритма, меняющегося и обновляющегося с течением времени, но принципы их работы и функционал на сайте остаются прежними.

Чтобы контролировать эту ситуацию, необходимо подключить Google Analytics и Search Console. В GA вы найдете информацию о трафике, источниках трафика, активности пользователей и популярности страниц. Если есть проблемы, они будут видны в отчете.

В GSC вы можете отслеживать положение всего сайта и отдельных страниц, количество страниц в индексе, информацию о статусе мобильной версии сайта, а главное уведомления о ручных санкциях, о которых мы поговорим ниже.

Фильтры алгоритмов не требуют обращения в техническую поддержку. Все, что вы можете сделать, это исправить проблемы, которые могут привести к падению рейтинга вашего сайта, и подождать, пока Google повторно просканирует его.

Возможно, нет смысла искать признаки проблем с веб-сайтом, просматривая устаревшие названия фильтров. Но давайте рассмотрим их историю и принципы работы.

Песочница (Sandbox) — миф?

«Песочница» — это название фильтра поисковой системы, который, как говорят, применяется к молодым сайтам неизвестного качества, чтобы они не сразу попадали в топ. Веб-сайту необходимо некоторое время оставаться в песочнице, прежде чем он появится в индексе.

Согласно официальной позиции Google, Sandbox не существует. Некоторые оптимизаторы полагают, что аналогичный эффект существует: молодые сайты не получают трафика, но не потому, что они молоды, а потому, что они недостаточно авторитетны, плохо развиты, до них еще не добрались краулеры и т д.

Представитель Google Гарри Илш еще в 2016 году заявил в Твиттере, что у поисковой системы нет песочницы:

Гарри Илш говорит, что «песочницы» не существует

Представитель поисковой системы Джон Мюллер также заявил, что возрастных ограничений для попадания в начало страницы нет:

Мы не ограничиваем искусственно высокие позиции новых страниц. То есть мы не оговариваем, что по таким высокочастотным запросам в топ могут выйти только страницы, имеющие определенный возраст, имеющие определенное количество обратных ссылок и соответствующие другим обязательным критериям.

На самом деле все по-другому. Существует множество факторов, которые определяют, как наш веб-контент сканируется, индексируется и ранжируется. Иногда по каким-то причинам новая страница для нас крайне важна. Таким образом, мы можем занимать очень высокие позиции в поисковой выдаче даже по высококонкурентным ключевым словам. Повторяю, это теоретически возможно!

Считается, что этот миф возник в 2004-2005 годах. С тех пор поисковые системы регулярно отреагировали, но все еще есть веб-мастера, которые наблюдали «эффект песочницы» на собственном опыте и считают, что Google его скрывает.

Они рекомендуют подождать и развивать сайт, тогда стабильное увеличение объема качественных ссылок и полезного контента останется незамеченным поисковыми системами и ускорит выходы. Кроме того, высококачественные сайты с большей вероятностью будут занимать высокие позиции в результатах поиска сразу после выхода из «песочницы.

Важным показателем качества сайта являются поведенческие факторы и реальные отзывы пользователей, например, в системе рейтинга статей или в виде публичных комментариев. Те, кто уверен в существовании «песочницы», зачастую оценивают, что из этого фильтра их выведут через год.

Пингвин (Penguin)

Цель: Борьба со ссылочным спамом.

Обновление Penguin было выпущено 24 апреля 2012 г и было разработано для борьбы со ссылочным спамом, нерелевантными ссылками и чрезмерно оптимизированным текстом привязки. Последний раз этот фильтр обновлялся в 2016 году, прежде чем он стал частью поискового алгоритма Google.

После обновления 2016 года Penguin больше не наказывает спам-ссылки, а просто обесценивает и игнорирует их.

В отличие от алгоритма Panda, он распознает сигналы на уровне страницы и не передает их всему ресурсу.

Если без вашего участия появляется слишком много спам-обратных ссылок и они вас беспокоят, Google рекомендует использовать инструмент отклонения ссылок.

В настоящее время Penguin постоянно обновляется и работает в режиме реального времени, поэтому Google не уведомляется об обновлениях, а владельцы сайтов, как правило, не уведомляются о применении фильтров.

Однако, как заявил представитель Google Гарри Илш, санкции за нарушения иногда применяются вручную. Если Google обнаружит, что сайт систематически продвигается с помощью спама, он наложит более жесткие ручные санкции.

Что сказал по этому поводу Джон Мюллер:

Когда мы обнаруживаем проблемную ссылку, похожую на спам, мы стараемся ее игнорировать. Если это очевидная и последовательная закономерность для сайта, наш алгоритм может сказать: «Мы действительно потеряли доверие к этому сайту». Нам нужно больше знать, о чем сайт и как он ранжируется в результатах поиска консервативен, и вы увидите падение видимости.

Ручные санкции от «Пингвина»

Обычно он начинается с сообщения в Google Search Console о том, что сайт предположительно использует купленные входящие ссылки. Слово «Пингвин» в сообщении вы, конечно, не увидите, но критерии оценки нарушений те же. Признаки: посещаемость и размещение сайта снижаются. Позиции могут падать резко или постепенно.

Основным признаком ручного применения Penguin является анкорный спам. Использование обратных ссылок с бизнес- или другими ключевыми словами может привести к ручной фильтрации.

Как снять

1. Проверьте консоль поиска Google на наличие уведомлений. В этом случае отправьте запрос на повторное рассмотрение. В первом запросе уточните, какие ссылки нарушают правила и спросите, какие действия необходимо предпринять для снятия санкции;

2. В ответ сотрудники поисковой системы укажут несколько примеров ссылок, которые, по их мнению, являются спамом и нарушают рекомендации Google для веб-мастеров. Если рассматриваемая ссылка арендована, удалите все такие ссылки. Если вы получаете «пингвинов» постоянных ссылок, используйте Search Console, чтобы составить список нежелательных ссылок в файле TXT. Загрузки можно организовать по имени хоста: Ссылки на ваш сайт -> Наиболее частые ссылки -> Загрузка дополнительных ссылок пример. Или в хронологическом порядке: Ссылки на ваш сайт -> Наиболее часто ссылающиеся -> Загрузить последние ссылки. На всякий случай, если сайт исключен из поиска, добавьте стороннюю службу проверки входящих ссылок, например Linkpad или Majestic result. Каждая ссылка занимает новую строку. Затем файл загружается в Google для отказа в обслуживании входящей ссылки.

3. Подождите, пока ссылка будет переиндексирована. Обычно это занимает около недели, но на всякий случай подождите две недели.

4. Подайте новый запрос на повторное рассмотрение. В своем запросе четко укажите все свои действия, включая список всех удаленных и закрытых ссылок, и укажите, какие дополнительные действия необходимо предпринять для устранения негативных последствий.

5. Обработка заявки займет до одного месяца, после чего будет получен положительный или отрицательный ответ. Если вам отказали, повторите шаги 2–4 еще раз, но будьте внимательнее. Иногда нужно повторить чистую ссылку и отправить запрос несколько раз, чтобы выйти из-под фильтра.

Панда (Panda)

Миссия: Борьба с некачественным контентом.

«Панда» — это часть алгоритма поиска, которая относится к оценке качества веб-сайта и его контента. Самое главное в Panda — это контент.

С 2011 по 2016 год «Панда» была отдельным фильтром, но сейчас его правильно называть сигналом ранжирования. Алгоритм идентифицирует сигналы на уровне страниц и распределяет их по всему сайту, в отличие от Penguin, который просматривает отдельные страницы.

Panda фокусируется на пользовательском спаме, чрезмерной оптимизации ключей и плагиате. Уникальность этого алгоритма заключается в том, что он пессимистично относится к нарушениям на большинстве страниц, а иногда даже полностью удаляет целые сайты из индекса.

Но если на сайте очень мало страниц-нарушителей, то весь сайт можно считать качественным. Google может продолжать показывать эти сайты по конкретным и весьма релевантным запросам, но для некоторых запросов видимость будет снижена.

Веб-сайты, которые могут быть отфильтрованы:

• Много неоригинального контента. Сам веб-сайт также не должен иметь дублированного контента;

• невидимый;

• Многие страницы не имеют ничего общего с заголовком;

• Чрезмерное использование ключевых слов и фраз в тексте, заголовках, метатегах и описаниях изображений;

• Уровень отказов пользователей высок как на отдельных страницах, так и на всем сайте, а среднее время, которое пользователи проводят на сайте, невелико;

• Нерелевантная или чрезмерная реклама;

• Контент структурирован и оформлен шаблонно и монотонно.

• Ограничьте список привязок для внутренних ссылок.

Одним из критериев, которые Google использует для оценки контента, являются поведенческие факторы. В случае с Panda контент оценивают не только алгоритмы, но и реальные люди (оценщики). Поэтому важно создавать оригинальный, полезный и легко доступный контент, который окажет положительное влияние на время, которое пользователи проводят на сайте, и глубину его просмотра.

Как снять

Во-первых, обратите внимание на качество контента вашего сайта:

• Удалите дубликаты страниц и копипасты, а также организуйте внутренние ссылки, чтобы пользователи могли легко находить похожий контент;

• Удалить контент, не соответствующий тематике сайта;

• Используйте Search Console, чтобы находить запросы, которые ведут на страницы, не соответствующие вашим потребностям или предоставляющие неясную информацию.

• Проверьте текст на фактическую точность, чтобы убедиться, что вы почерпнули из него что-то полезное;

• Используйте маркированные или нумерованные списки, таблицы, изображения, диаграммы, видео, чтобы смягчить текст на вашем сайте. Исправьте все орфографические, грамматические и стилистические ошибки;

• Проверьте заголовки на сайте: они должны соответствовать содержимому страницы;

• Устраните повторное появление ключевых слов в тексте, заголовках H1–H6, метатегах и описаниях изображений;

• Временно закрыть страницы-нарушители, которые не готовы к удалению из индекса, пока их содержимое не будет исправлено;

• Удалите исходящие ссылки на ресурсы, не соответствующие тематике текста вокруг ссылки и общей тематике сайта.

Panda может вознаграждать контент, который не соответствует факторам EEAT, особенно если он затрагивает деликатные темы — здоровье, финансы и безопасность людей — поэтому простой организации текста не получится, придется потрудиться.

Если вы попали под фильтр, но обнаружили и устранили недостатки на своем сайте, рано или поздно он будет удален. Будьте готовы, что для этого потребуется не одно и даже не два обновления — в некоторых случаях выход Panda может занять больше года.

Бэби Панда (Baby Panda)

Основная «Панда» появилась вскоре после 2012 года, поэтому и получила свое название. Этот фильтр отслеживает веб-сайты со слишком большим количеством рекламы на первом экране и снижает их рейтинг в результатах поиска.

Скорость загрузки (Speed Update)

Миссия: Борьба с медленными веб-сайтами.

Это обновление напрямую связано со всеми другими обновлениями, связанными с мобильными устройствами.

Google Speed ​​Update было запущено в 2018 году. Это влияет на сайты с длительным временем загрузки, которые включают результаты мобильного поиска: фактор скорости загрузки сайта получает больший вес в алгоритме ранжирования, поэтому очень медленные сайты начинают получать более низкие рейтинги. Это обновление не будет работать на сайтах, которые загружаются быстро или медленно.

Со временем появились Core Web Vitals — набор показателей, оценивающих скорость страницы. Не только скорость от открытия до конца при полной загрузке страницы, но и этапы загрузки различных элементов и скорость взаимодействия с пользователем.

Дополнительную информацию и советы по ускорению вашего веб-сайта см в статье: Основные веб-показатели и новая метрика INP: использование текущих методов для ускорения вашего веб-сайта

Эти показатели являются частью концепции ранжирования на основе опыта страницы, анонсированной поисковой системой в мае 2020 года.

Как изначально выглядела концепция оценки юзабилити страниц

Оценки юзабилити страницы можно найти в Search Console > Качество > Юзабилити страницы. Это не фильтр как таковой, но если вы не будете следовать рекомендациям Google, ваш рейтинг будет низким. Здесь вы можете видеть, что удобство веб-сайта для мобильных устройств было очень важно с самого начала существования концепции. Об этом – в следующем пункте.

Читайте тему: Как уменьшить вес сайта и ускорить загрузку страниц

Mobilegeddon, предшественник Mobile-first indexing

Миссия: отдавать приоритет веб-сайтам, оптимизированным для мобильных устройств.

Еще в 2015 году Google впервые рассказал об удобстве использования веб-сайтов на мобильных устройствах. Впоследствии поисковые системы объявили, что будут ранжировать страницы, оптимизированные для мобильных устройств, в результатах поиска. Это обновление называлось Mobilegeddon, и оно положило начало изменениям, которые привели к индексации с приоритетом мобильных устройств, какой мы ее знаем сегодня.

В настоящее время Google использует мобильных ботов для сканирования практически всех существующих страниц веб-сайта, при этом сканируются только новые и недавно проиндексированные страницы.

Как поисковые системы меняют свои алгоритмы, чтобы облегчить работу мобильных пользователей:

• Апрель 2015 г. — Google выпускает обновление, позволяющее использовать удобство использования мобильных устройств в качестве фактора ранжирования;

• Ноябрь 2016 г. — объявлено и протестировано индексирование с приоритетом мобильных устройств на некоторых сайтах;

• Январь 2017 г. — Google заявляет, что скорость загрузки мобильной страницы повлияет на ее рейтинг в поиске;

• Март 2018 г. — в отчете говорится, что после тестирования внедряется индексирование с приоритетом мобильных устройств;

• Декабрь 2018 — пишет, что большинство сканируемых сайтов теперь индексируются преимущественно для мобильных устройств;

• Июль 2019 г. — новые сайты по умолчанию используют индексацию с приоритетом мобильных устройств;

• Март 2020 г. – к сентябрю 2020 года планируйте использовать индексацию с приоритетом мобильных устройств на 100 % сайтов;

• Июль 2020 г. — планы перенесены на март 2021 г из-за коронавируса. Потом он снова отложил это дело;

• Октябрь 2023 г. — Поисковые системы завершают переход на индексацию для мобильных устройств. Информация о роботе, просканировавшем страницу, исчезнет из отчетов Search Console, поскольку теперь по умолчанию это мобильный робот. Для небольшого количества сайтов, несовместимых с мобильными устройствами, настольная версия робота Googlebot продолжит работать.

Индексацию Mobile-first нельзя назвать фильтром, но она является ключевым фактором ранжирования. Страницы, которые не подходят для смартфонов и планшетов, не будут отображаться в результатах поиска или окажутся внизу. Во-первых, Google важна корректная работа и скорость загрузки мобильной версии.

Информацию об удобстве вашего веб-сайта для мобильных устройств можно найти в Search Console > Качество > Удобство страницы.

В разделе «Мобильные страницы» вы увидите диаграмму, показывающую, сколько из этих страниц нуждаются в улучшении:

Данные о производительности мобильных страниц в GSC

Ниже вы найдете список ошибок.

Прочтите тему: Как оптимизировать сайт для мобильных устройств: 14 правил создания сайта, оптимизированного для мобильных устройств

Вы можете использовать наш бесплатный инструмент, чтобы проверить, насколько быстро ваш сайт загружается и отображается на мобильных устройствах.

Колибри (Hummingbird)

Цель: Отобразить результаты, соответствующие цели запроса.

Алгоритм Google, который анализирует семантику текста на веб-сайте. Он появился в 2013 году, но сейчас его заменили более совершенные алгоритмы. «Колибри» необходимо компилировать результаты с ресурсов, наиболее полно отвечающих потребностям пользователя, чтобы понимать его намерения, а не просто обеспечивать контент необходимыми ключевыми словами.

Это также не фильтрация в общем смысле; сайты не подвергаются санкциям, но тем ресурсам, которые не соответствуют требованиям, присваивается более низкий статус.

Требования «Колибри» к сайту:

• Контент адаптируется к намерениям пользователя;

• Учитывая разные цели пользователей, разные задачи требуют разных материалов,

• Используйте синонимы, диалоговые формы запросов и связанные ключи;

• Текст написан естественным, ярким языком и не содержит мусорного контента.

Фред (Google Maccabees)

Миссия: Борьба с веб-сайтами, созданными исключительно для зарабатывания денег.

«Фред» — неофициальное название модифицированной версии алгоритма 2017 года, которая стала известна как «Google Maccabees». Это обновление определяет сайты с малоценным контентом, которые созданы в первую очередь для получения доходов от рекламы в ущерб удобству пользователей.

«Фред» санкционировал некачественные сайты; их органический трафик снизился до 90%.

Обновление затронет следующие сайты:

• Качество плохое, текст бесполезный, «водянистый;

• Переоптимизирован краткий текст;

• Текст написан для роботов, а не для людей;

• Поставляется с множеством рекламных баннеров;

• Копируйте контент других людей.

Обновления не считаются отдельными фильтрами — это часть алгоритма поиска. Чтобы не попасть под санкции, вам нужно использовать служебный способ продвижения сайта и писать тексты для людей, а не зацикливаться на ключевых словах и копировать чужой контент.

Слишком много ссылок сразу (Too many links at once)

Миссия: Наказание за манипулирование ссылками.

Раньше поисковые системы вводили такие фильтры, чтобы значительно повысить качество ссылок. Если на веб-сайт ссылается множество ресурсов за короткий период времени, Google сочтет это манипулятивным. За качеством ссылок теперь следит «Пингвин» или это стало частью основного алгоритма и «слишком много ссылок» больше не используется.

Веб-сайты, подпадающие под этот фильтр, имеют следующие характеристики:

• Трафик от Google значительно упал;

• Поисковые системы игнорируют все вновь купленные ссылки;

• Существующие внешние ссылки фактически не влияют на рейтинг сайта.

Чем моложе сайт, тем выше вероятность быть оштрафованным. Для сайтов возрастом менее полугода рекомендуется приобретать не более 1-2 ссылок в день. Дополнительно, если качественных входящих ссылок достаточно, рекомендуется увеличить их количество до 3-5.

Существует также мнение, что люди могут заподозрить подозрение, если на сайте появляется слишком много страниц. Поисковые системы затем используют «слишком много страниц одновременно». Но в целом правила не запрещают одновременную публикацию определенного количества страниц.

Битые ссылки (Broken links)

Миссия: Борьба с сайтами со множеством нерабочих страниц.

Фильтр битых ссылок также является частью алгоритма поиска, который анализирует качество ссылок на сайт. Ресурсы с большим количеством внутренних ссылок, из-за которых страница не существует и отображает ошибку 404, будут подвергнуты санкциям. Практически во всех случаях сайт потеряет свои позиции в результатах поиска.

Как снять

• Найдите все неработающие ссылки на вашем сайте. Как это сделать, читайте в нашей статье о техническом аудите сайта;

• Удалите их или перенаправьте на существующие страницы.

Ссылочная помойка (Links)

Миссия: Борьба с продажей ссылок.

Он также включен в алгоритм и часто применяется к веб-сайтам, продающим ссылочное пространство по дешевке. Веб-сайты с более чем пятью внешними ссылками на странице представляют риск, особенно если они не имеют отношения к теме. Ссылки перестают иметь влияние, рейтинг самого сайта в результатах поиска падает, а страницы удаляются из индексов.

Как снять

удалите все нетематические ссылки на сайте, отключите их с помощью атрибута rel=nofollow или установите перенаправления на заблокированные страницы в файле robots.txt.

Некоторые оптимизаторы, занимающиеся продвижением под Google, создают целые сети сайтов для ссылочного продвижения на другие проекты, и их называют сателлитами. Такие сайты подвержены санкциям, поэтому, если вы понимаете, как работают подобные акции, расширяйте свою сеть.

Тема чтения: 10 экспериментов в продвижении спутниковых сайтов (PBN

Социтирование (Co-citation linking filter)

Миссия: Борьба с продажей ссылок.

Реализовано для доноров низкого качества или различий между субъектами-донорами и реципиентами. Если ресурсы по несвязанным темам ссылаются на ваш сайт, Google переопределит тему вашего сайта и значительно снизит его рейтинг в результатах поиска по вашим основным ключевым словам. Размещайте ссылки только на ресурсы по той же или смежным темам.

Совместное цитирование также влияет на исходящие ссылки. Search Engine Watch описывает, как работает алгоритм:

• Влияние ссылки распространяется не только от донора к реципиенту, но и в обратном направлении.

• Исходящие ссылки также важны, они помогают пользователям и делают использование сайта более удобным.

• Исходящие ссылки должны указывать на качественные веб-сайты. Ссылки с доменов низкого качества создают плохих соседей и могут быть вредными.

Как снять

Не ссылайтесь на сомнительные или некачественные сайты. Просмотрите входящие ссылки; если ссылки на сайты не по теме, удалите их. Если они постоянные, перечислите ссылки в файле TXT и загрузите его в инструмент отклонения. Google больше не будет учитывать эти ссылки при индексации сайта, а через определенный период фильтр будет удален.

Дополнительные результаты (Supplemental results)

Задача: Удалить из результатов поиска сайты, содержащие неоригинальный контент.

Дополнительные индексы называются «дополнительными результатами»; из-за схожести звучания они имеют жаргонное название «гугловские сопли». Результаты находятся под ссылкой «Показать скрытые результаты». Нельзя сказать, что этот фильтр наказывает копипаст или плохое качество страниц. Страницы с повторяющимся контентом могут подпадать под опцию «Показать скрытые результаты», но они, скорее всего, появятся в основном списке результатов поиска по другим запросам.

Раньше считалось, что веб-сайты имеют:

• Все сайты в индексе Google, как и сами сайты, содержат большое количество неоригинального контента;

• На сайте большое количество дублирующих страниц;

• Внутренние ссылки слабые.

В результате сайт не отображается в основных результатах поиска Google. Просмотреть этот сайт можно только по ссылке «Показать скрытые результаты»:

Скрытые результаты в результатах Google

-30, -5, -950

Эти фильтры официально не анонсированы поисковыми системами, но некоторые оптимизаторы подчеркивают их влияние на сайты, использующие «черные» методы продвижения:

• дверной проем;

• ссылочный спам;

• Перенаправления JavaScript;

• невидимый.

Открывая для себя эти методы, некоторые SEO-специалисты заметили, что по большинству запросов Google понижает рейтинг сайта примерно на 30–5 пунктов или опускает его до нижнего процентиля.

Переоптимизация (Over Optimization)

Миссия: Борьба со спамом с помощью ключевых слов.

Этот фильтр работает против спама по ключевым словам, метатегов и чрезмерной оптимизации изображений. Теперь он является частью алгоритма Panda и отвечает за контент.

В зависимости от степени нарушения сайт может быть унижен в результатах поиска или полностью исключен из индексации. Вы можете увидеть резкое падение трафика и рейтинга.

Как снять

Удалите повторяющиеся ключевые слова:

• в тексте. Доля ключевых слов в основном тексте не должна превышать 7-8%. Оптимальное значение — 4–5%. Проверить это можно в пункте «Отвратительно» в разделе «Оптимизация» нашего сервиса аналитики сайта. Не злоупотребляйте тегами b,strong,em,i;

• в заголовках h1-h6;

• в метатеге;

• В Alt и заголовке изображения.

Алгоритмы Google и их обновления

С тех пор как «Панда» и «Пингвин» вошли в основной алгоритм, некоторые фильтры вообще больше не существуют в исходном виде. Google выпустил несколько алгоритмов и систем рейтинга контента, которые не наказывают веб-сайты, но если они не соответствуют его требованиям, Гао не сможет занять определенную позицию. По сути, все эти системы взаимосвязаны, поэтому стоит рассматривать их как важные советы по созданию контента и продвижению вашего сайта.

Система полезного контента

В августе 2022 года поисковая система запустила «Систему полезного контента», которая призвана заменить несколько алгоритмов. Как следует из названия, она увеличивает количество полезного контента и уменьшает количество бесполезного контента в результатах поиска. Технология основана на машинном обучении.

В марте 2023 года появилось сообщение в блоге, в котором говорилось, что единой системы больше не существует и что Google использует множество различных сигналов и алгоритмов для ранжирования. Эти обновления называются «обновлениями полезного контента», и теперь они доступны как часть основного ядра. Несмотря на эти изменения, совет остается прежним — пишите тексты для людей, а не для поисковых ботов, и делайте их полезными и интересными.

Независимо от названия поисковой системы, вот некоторые вещи, которые вам нужно знать об оценке контента:

• По сути, система ранжирования Google работает на уровне страниц и получает лишь некоторые сигналы на уровне сайта;

• По вышеуказанным причинам страницы низкого качества не будут влиять на рейтинг страниц высокого качества, если только страниц не слишком много;

• Поскольку помимо крупных обновлений выходит множество более мелких, невозможно сказать наверняка, когда сайт восстановит свой статус после удаления менее полезного контента. Вывод продолжает меняться.

SpamBrain

Система SpamBrain, запущенная в 2018 году, основана на искусственном интеллекте. Поисковая система утверждает, что SpamBrain защищает пользователей от бесполезного и опасного контента по 99% запросов. Поддерживается несколько языков, включая вьетнамский, индонезийский, китайский, турецкий и хинди — они будут добавлены в конце 2023 года.

При этом в октябре 2023 года была обновлена ​​форма сообщения о спаме. Пожаловаться здесь.

По сути, SpamBrain решает ту же проблему, что и ручные санкции, но делает это автоматически, без участия реального человека.

Эта система может многое:

• Выявляйте ссылочный спам и находите покупателей и продавцов ссылок. С 2016 года SpamBrain работает по тому же принципу, что и Penguin – он не учитывает спам-ссылки при ранжировании веб-сайтов, тем самым уменьшая усилия, которые веб-мастера должны приложить для получения этих ссылок;

• Выявление любого типа спама, отправленного после взлома веб-сайта;

• Находить мошеннический контент, который может нанести вред пользователям;

• Распознавать признаки преследования и требовать деньги за удаление чьей-либо информации с сайта;

• Отсеивать фейковые отзывы из бизнес-профилей, написанные или заказанные самими владельцами компаний;

• Найдите автоматически сгенерированную ерунду, предназначенную для манипулирования результатами поиска.

Когда дело доходит до контента, созданного искусственным интеллектом, поисковые системы настаивают на том, что важнее всего польза для читателей. Если бы к созданию этой статьи был привлечен искусственный интеллект, и она была бы содержательной и интересной, ничего страшного не произошло бы.

После последнего крупного обновления алгоритма в марте 2024 года появились новые виды спама, с которыми будут бороться поисковые системы:

• Ненадлежащее использование доменных имен с истекшим сроком действия, включая покупку старых доменных имен, изменение тем веб-сайтов и публикацию бесполезного контента;

• Неправильное масштабирование контента — это создание множества страниц бесполезного контента с целью манипулирования результатами поиска. Неважно, как создается контент – вручную, с помощью программы генерации или искусственного интеллекта;

• Злоупотребление репутацией веб-сайта означает размещение на нем нерелевантной рекламы или чужого контента с целью получения прибыли.

RankBrain, BERT, MUM

RankBrain, запущенная в 2015 году, является первой системой глубокого обучения в поиске. Он может сопоставлять слова в документах в результатах поиска и генерировать соответствующие ответы, даже если ключ страницы не включен в запрос.

В блоге Google есть такой пример:

Если вы выполните поиск по запросу «Как зовут потребителя на вершине пищевой цепи?», наша система увидит эти слова на разных страницах и узнает, что концепция пищевой цепи может относиться как к животным, так и к людям-потребителям. Понимая эти слова и сопоставляя их с соответствующими понятиями, RankBrain понимает, что вы ищете того, кого обычно называют «высшим хищником».

В 2019 году Google выпустила алгоритм BERT, который использует обработку естественного языка (NLP) для анализа пользовательских запросов и определения наиболее релевантных ключевых слов и фраз. Его задача — проанализировать контекст запроса, понять намерения пользователя и использование в запросе длинных разговорных выражений. Например, он сосредоточился на предлогах и союзах, которые могут изменить смысл предложения.

Что означает BERT для SEO:

• Текст должен быть естественным и написан на языке, которым пользуются читатели;

• Этот алгоритм упрощает оптимизацию сайтов голосового поиска, где чаще всего используются произнесенные слова;

• Шансы попасть в быстрый ответ выше, поскольку алгоритм считывает содержимое страницы и быстро находит необходимые фрагменты для отображения в результатах поиска.

MUM (Multi-task Unified Model) — выпущенный в 2021 году алгоритм, который может искать информацию не только по тексту, но и по изображениям. Его основная задача — не ограничивать пользователей набором ссылок, а давать сложные, подробные ответы, основанные на информации из разных источников и на разных языках.

Эти алгоритмы никоим образом не наказывают веб-сайты, но их работу необходимо учитывать при оптимизации контента.

E-E-A-T

Еще одна концепция, которую следует учитывать, — это EEAT, что означает:

• опыт – опыт;
• Экспертиза – Экспертиза автора;
• Авторитетность – авторитетность сайта;
• Достоверность – Надежность.

Это не алгоритм и даже не набор факторов ранжирования, а система оценки качества вашего контента. Как говорят поисковики, это сигнальная система робота.

EEAT стремится предоставить поисковикам высококачественный и надежный контент, основанный на проверенных данных или личном опыте автора. В каком-то смысле это еще один способ борьбы со спамом.

Алгоритм ранжируется с помощью оценщиков, реальных людей, которые вручную изучают многие веб-сайты и присваивают им рейтинги на основе правил поисковых систем. Основной алгоритм обучен на результатах работы оценщиков, что уже позволило увеличить количество сайтов, соответствующих требованиям EEAT, и снизить количество некачественных сайтов в результатах поиска.

Подробнее о концепции и работе оценщиков: факторы EEAT Google и три контрольных списка для проверки веб-сайтов

Ручные санкции Google

Помимо алгоритмов, у Google есть ряд ручных санкций, предназначенных для борьбы со спамом. Штрафы могут применяться как к конкретным URL-адресам, так и ко всему веб-сайту.

Если сотрудники поисковой системы обнаружат определенные нарушения, они могут понизить рейтинг сайта или полностью удалить его из результатов поиска, а администратор сайта получит сообщение в Search Console с причиной наказания. Например, в 2020 году они отправили владельцам сайтов 2,9 миллиона уведомлений, связанных с ручными действиями по спаму.

Сообщайте о ручных санкциях в GSC

Список действий, которые поисковая система считает нарушениями, есть в правилах о спаме в справке.

Важным моментом является следующее: вы не можете навредить Google, бомбардируя его жалобами на сайт вашего конкурента. Сотрудники поисковых систем не удаляют определенный контент из результатов поиска после получения жалоб на него. Эти сигналы используются для обучения алгоритмов более эффективному поиску спама.

Само уведомление о нарушении можно найти в разделе «Действия вручную».

Раздел ручных мер в GSC

Когда вы устраните указанные дефекты на своем сайте, вы можете отправить запрос на повторную проверку сюда.

Как снять ручные санкции Google:

1. Понять причины и прочитать конкретную информацию о санкциях;

2. Исправляйте проблемы на каждой странице. Обычно список URL-адресов можно найти в уведомлении. Простое исправление проблем с определенными страницами не поможет;

3. убедитесь, что роботы поисковых систем имеют доступ к этим страницам: не требуется авторизация или платная подписка, нет блокировки в robots.txt и нет директивы «noindex»;

4. Запросите проверку в отчете, перечислив все, что вы сделали для решения проблемы, и предоставив доказательства того, что ошибка была исправлена.

Поисковая система не указывает конкретные сроки рассмотрения запросов — от нескольких дней до нескольких недель, в зависимости от проблемы.

Давайте подробнее рассмотрим, за что наказали Google.

Спам, размещенный третьими лицами

Если Google считает сайт в целом качественным, но обнаруживает спам на некоторых страницах, которые могли быть размещены третьими лицами (например, пользователями), об этом будет отправлено уведомление.

Как удалить:

1. Найдите все страницы, с которыми пользователь мог взаимодействовать на вашем сайте. Следите за резким увеличением трафика, особенно на новые страницы и страницы с ключевыми словами, не типичными для вашего сайта;

2. Что необходимо найти и удалить:

   1. Любой текст и ссылки, не соответствующие тематике сайта;

   2. Бессмысленный и автоматически генерируемый текст;

   3. Любой контент, предоставленный пользователями, который выглядит как реклама;

   4. Результаты поиска по веб-сайтам аналогичны запросам, используемым для продвижения сторонних веб-сайтов или услуг.

3. Примите меры, руководствуясь рекомендациями Google;

4. Отправьте запрос на повторную проверку и дождитесь результатов.

Спам, публикуемый пользователями

Подходит для сайтов, обнаруживающих пользовательский спам в комментариях, блогах, форумах, обсуждениях и профилях. В отличие от предыдущего пункта, здесь речь идет именно об активности пользователей. Google может удалить из своего индекса отдельные страницы или целые веб-сайты.

Как удалить:

1. Выявляйте и удаляйте: — сообщения и профили, которые выглядят как реклама; — сообщения и профили со ссылками, не относящимися к теме; — сообщения и профили с вымышленными именами и ссылками на сторонние веб-сайты; — сообщения, которые кажутся автоматически созданными; и не созданы человеком; — Спам на страницах сайта; Для этого введите в строку поиска Google сайт оператора: название сайта + запрос, не связанный с вашим основным контентом. Пример: сайт:pr-cy.ru Купить Слона.

2. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Спам на сервере бесплатного хостинга

Зачастую Google настроен пессимистично или просто удаляет отдельные спам-страницы и сайты из результатов поиска. Однако если таких страниц и сайтов на хостинге много, он может и вовсе подвергнуться ручным санкциям.

Как удалить:

1. Ознакомьтесь с советами Google о том, как защитить себя от спамеров;

2. Удалите все существующие учетные записи вашего сервиса, содержащие спам;

3. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Проблемы со структурированными данными

Вступает в силу с марта 2015 года и обеспечивает соблюдение нарушений разметки структурированных данных с помощью алгоритмических и ручных средств — Schema.org. Когда поисковая система применит этот фильтр, владелец сайта получит сообщение в Google Search Console о контенте, который он поместил в микротег:

• Контент скрыт от пользователей;

• Продвигать нерелевантный контент;

• Контент, нарушающий требования к качеству).

Это проявляется в исчезновении всех расширенных фрагментов сайта из результатов поиска, а также в проблемах с индексацией размеченного контента, которые можно отслеживать в отчете «Структурированные данные» в Search Console.

Как удалить:

• Убедитесь, что микротеги на ваших страницах соответствуют основным требованиям Google к качеству сайта. Основные требования к поисковым системам можно найти в справке Google по структурированным данным;

• Анализируйте статистику для отчетов структурированных данных в Search Console. Проверьте все проблемные страницы с помощью средства проверки расширенных результатов Google или средства проверки разметки Schema.org

• Устранить обнаруженные ошибки;

• Если на сайте используется формат микроразметки JSON-LD, воспользуйтесь инструментом JSON-LD Playground для проверки кода. Подробнее о JSON-LD можно прочитать в Справке Яндекса;

• Google также удаляет ручные санкции только вручную. Как только ошибка будет устранена, отправьте запрос в службу поддержки веб-мастеров Google на повторное рассмотрение. Подробную информацию о процессе подачи заявки можно найти в Справке Google. Среднее время рассмотрения заявки составляет около недели.

Искусственные ссылки на сайт

Санкции начинаются с получения сообщения в Google Search Console о том, что ваш сайт предположительно использует искусственные входящие ссылки. Штрафы могут привести к падению трафика и рейтинга в Google. То же самое, что снять ручные санкции против Penguin».

Как удалить:

Фильтры удаляются так же, как и «Пингвин», после чего необходимо запросить ручную проверку выполненных действий в отчете.

Искусственные ссылки с сайта

Поисковые системы примут эти ручные меры, если обнаружат размещенные на вашем сайте ссылки, влияющие на рейтинг.

Эффект от применения этой санкции: ссылки перестают передавать вес, сам сайт занимает более низкие позиции в результатах поиска, страница удаляется из индекса.

Как удалить:

1. удалите все нетематические ссылки на сайте, либо отключите их с помощью атрибута rel=nofollow, либо установите перенаправления на заблокированные страницы в файле robots.txt;

2. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Бесполезный контент

Это применимо, если вы обнаружите на своем сайте страницы низкого качества или мало оригинального контента:

• Автоматически генерировать контент;

• Бесполезные партнерские страницы;

• Плагиат.

В результате отдельные страницы или целые веб-сайты теряются в результатах поиска.

Как удалить:

1. Проверьте, не является ли контент вашего сайта дубликатом другого материала в Интернете;

2. Проверьте страницы с партнерскими ссылками на наличие информативного контента;

3. Убедитесь, что на сайте нет порталов или автоматически созданных страниц;

4. Удалить или изменить такой контент, чтобы сделать его полезным для пользователей;

5. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Маскировка и/или скрытая переадресация

Вы можете использовать эту опцию, если пользователи вашего сайта видят страницы, которые не видят боты Google, или если пользователи перенаправляются на страницы, к которым поисковые боты не могут получить доступ.

Внимание! Для контента с платным доступом используйте специальные микротеги. В противном случае Google может посчитать такой контент скрытым.

Как удалить:

1. Используйте инструмент «Просмотреть как Googlebot» в Search Console, чтобы проверять контент, который виден только поисковым роботам, но не пользователям сайта;

2. Убедитесь, что на странице нет текста того же цвета, что и фон;

3. Проверьте, есть ли на странице текст, скрытый CSS;

4. Удалите или измените любой такой текст, чтобы он был виден как пользователям, так и поисковым ботам;

5. Проверьте и удалите все перенаправления JavaScript на сайте;

6. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Скрытые перенаправления для мобильных пользователей также являются нарушением и будут подлежать ручным действиям. Например, если пользователь заходит на один сайт по ссылке на настольном компьютере, а на мобильном телефоне, то по той же ссылке открывается другой ресурс.

Как удалить:

1. Удалить перенаправление.

2. Убедитесь, что проблема решена на всех страницах.

3. Запросите проверку, если ни на одной странице нет скрытых перенаправлений.

Если перенаправление было установлено не вами, а хакером, проверьте состояние вашего сайта с помощью отчета о проблемах безопасности. Убедитесь, что на сайте нет сторонних скриптов: удаляйте скрипты по одному и проверяйте страницу через мобильный телефон или эмулятор.

Агрессивный спам

Подходит для сайтов, которые демонстрируют признаки агрессивного спама: публикуют автоматически сгенерированный бессмысленный текст, украденный или замаскированный контент. Фильтры могут привести к удалению отдельных страниц или целых веб-сайтов из результатов поиска.

Как удалить:

1. Удалить контент, который нарушает рекомендации Google для веб-мастеров;

2. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Замаскированные изображения

Перекрытие происходит, когда изображения в результатах поиска Google вашего сайта не соответствуют изображениям, отображаемым на них. Такие изображения будут удалены из поиска изображений.

Пример маскировки изображения:

• Публикуйте в Google изображения, закрытые другими элементами (например, текстовыми блоками.

• Используйте решение, которое отображает разные изображения для поиска ботов и посетителей.

• Перенаправлять пользователей по ссылке «Просмотреть изображение» в результатах поиска на страницу, не содержащую необходимый графический файл.

Как удалить:

1. Настройте свой сайт так, чтобы одни и те же изображения отображались пользователям на веб-страницах и в результатах поиска. Иногда клоакинг предполагает использование инструментов, блокирующих вставку прямых ссылок. Чтобы обнаружить такие проблемы, проверьте код сервера и плагины на вашем сайте.

2. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Скрытый текст и/или избыточное количество ключевых слов

Если на страницах вашего сайта есть скрытый текст или слишком много ключевых слов, к вам будут применены санкции. Фильтры могут привести к удалению отдельных страниц или целых веб-сайтов из результатов поиска.

Как удалить:

1. Используйте инструмент «Просмотреть как Googlebot» в Search Console, чтобы проверять контент, который виден только поисковым роботам, но не пользователям сайта;

2. Убедитесь, что на странице нет текста того же цвета, что и фон;

3. Проверьте, есть ли на вашей странице скрытый текст с помощью CSS.

4. Удалите или измените любой такой текст, чтобы он был виден как пользователям, так и поисковым ботам;

5. Устраните избыточное появление ключевых слов, аналогично тому, что вы делаете при применении «Реоптимизации»;

6. Отправьте запрос на повторную проверку в Google и если нарушений не будет, санкции будут сняты.

Несоответствие AMP-версии канонической

Если вы используете страницы AMP, каноническая страница и страница AMP должны иметь одинаковое содержимое. Допускаются различия в формулировках текста, но тематика и функционал страницы должны быть одинаковыми. В противном случае поисковые системы могут принять меры: вместо ускоренных страниц будут обслуживаться канонические страницы.

Как удалить:

1. Устраните нарушения: страницы AMP должны ссылаться на соответствующую каноническую страницу, а их содержание должно быть одинаковым.

2. Используйте инструмент проверки URL-адресов, чтобы убедиться, что страница выглядит одинаково для пользователей и ботов.

3. проверьте файл robots.txt: различия появятся, если один из файлов блокирует важные ресурсы.

4. Запросить проверку.

Проблемы с безопасностью сайта

В отличие от ручных мер, в этот раздел приходят уведомления о событиях, которые могут нанести вред самому сайту и его посетителям. Что может быть:

• Любой контент, размещенный на сайте в результате хакерской атаки;

• Контент, который вводит посетителей в заблуждение и побуждает их к рискованному поведению;

• Вредоносное ПО может нанести вред посетителям веб-сайта и их устройствам, например похитить данные или вызвать заражение.

Если поисковик заподозрит странную активность, в этот раздел будут отправлены сообщения о санкциях. Механизм работы тот же, что и в случае со спам-санкциями — изучите письмо, решите проблему, соберите доказательства исключения и отправьте запрос на проверку.

Идеальный вариант — немедленно организовать работу по продвижению и оптимизации, чтобы избежать нарушения правил и санкций. Для этого нужно обращать внимание на обновления поисковых систем и не пытаться их обмануть.

источник