Тайна метатега robots в Яндекс.Дзен: совпадение или пессимизация

Много раз в чатах упоминался некий метатег robots, который якобы свидетельствуют о пессимизации канала.

Проявляет он себя следующим образом. На странице канала (не путать с редактором) в исходном коде можно обнаружить строчку:

  • <meta property="robots" content="none" />

А на статье такую:

  • <meta name="robots" content="noindex" />

Считается, что если такое есть, то на канал наложены определённые ограничения.

Поскольку (тьфу-тьфу) я с пессимизациями на своих каналах не сталкивался, поэтому я пропускал эту информацию мимо ушей. Помню, на каком-то дзен-понедельнике об этом говорили, что это миф и меня это в принципе устраивало.

Но недавно, после общения в чате, я обновил своё расширение для браузера, и теперь она выводит подсказку о том, что такой метатег обнаружен на странице канал или на странице статьи.

Так в редакторе обозначается факт того, что на канале обнаружен зловещий метатег
Так в редакторе обозначается факт того, что на канале обнаружен зловещий метатег

После этого, читая в дзене разные публикации, я несколько раз наталкивался на этого «грустного робота» и думаю, приблизительно понимаю, что означает этот тег.

Метатег robots — для роботов!

На всякий случай, если кто-то не знает, хочу напомнить для чего вообще нужен этот метатег. Он служит для того, чтобы сказать поисковым система (роботам, которые занимаются сбором информации с сайтов), как поступать со страницами на сайте.

Приведённые выше страницы говорят поисковикам, что эти страницы не нужно включать в поисковую базу. Т.е. из поиска их находить не будут.

Признак пессимизациии или совпдаение?

Я встречал этот тег на разных каналах, в разных публикациях, и могу выделить следующие:

  • Новые каналы. Если канал только-только создан и на нём мало публикаций, то он сразу отмечен как неиндексируемый. Вероятно, он должен дождаться достижения какого-то рейтинга или прохождения ручной проверки, чтобы публикации стали попадать в поиск.
  • Новые публикации. Сразу после того как статья опубликована она исключена из индексации. Но через некоторое время, вероятно, после проверки алгоритмом, он появляется. (Спасибо автору канала «С другого угла», который обратил на это внимание).
  • На старой публикации сразу после редактирования. После того как стать отредактировано она вновь проходит проверку и её исключают из индексации.
  • Статьи «только для подписчиков». Известно, что если статья будет отнесена к категории «только для взрослых», то она будет показываться только подписчикам. И, похоже, в этом случае она также исключается из индексации.
  • Каналы, на которых отдельные страницы отмечены этим тегом. Мне удалось увидеть канал на котором была только одна публикация отмечена этим тегом. Через день статья была удалена. С автором канала я не знаком и не знаю, сам ли он удалил статью или она была удалена (допустим за нарушение авторских прав).
  • Каналы исключенные из поиска. Несколько ссылок на каналы мне прислали, когда я попросил в чате в телеграме примеров, необходимых для выпуска обновления для расширения. Все эти каналы были пессимизированы.

Интересно, что мне даже получилось заметить, как один из каналов, включённый в топ-50 в своей категории внезапно вылетел из рейтинга, а на его страницах появился появился «грустный робот».

Всякая селёдка — рыба, каждая пессимизация — исключение из поиска

Но всё-таки я считаю, что назначение этого метатега не столь однозначно.

Скорее всего, в дзене есть ещё некий механизм, по которому определяется стоит ли показывать канала  «всему интернету» или нет. Понятно, что канал нарушающий правила должен быть исключён из поиска.

В тоже время наверняка могут быть и другие причины для этого. Какие — можно только гадать. Например, это новый канал, канал не прошедший проверку пессимизации, возможно статьи, отмеченные читателями как недостоверные или уличённые в кликбейте, а может просто какие-то неозвученные принципы «передачи контента в поиска».

Ну и конечно, есть вероятность, что все мои размышления — это очередной миф.

P.S. Благодарю участников чата в телеграме, без которых не было бы ни соответствующего обновления расширения ни этой статьи.

Лайки! Подписки! Мне каждый раз напоминать что ли? :-)