На почту компании «Яндекс» время от времени поступают не только предложения, но и жалобы: те или иные сайты пропадают из поисковой выдачи, и вовсе не по причине черных методов продвижения или неуникального контента. Корреспондент Федерального агентства новостей поговорил с IT-специалистами о том, могут ли повлиять на решение компании политические мотивы, и насколько сложно это доказать.

Последним о несправедливости поиска рассуждал известный экономист и политолог Михаил Делягин: ссылка на его персональный сайт исчезла с первых страниц «Яндекса». В то же время в других поисковых системах вроде Google ресурс выводился так же, как и раньше. Делягин даже написал в техподдержку, но там ему предложили пройти сложную систему доказательства своих прав на управление сайтом. Без этого в компании отвечать на запрос отказались.

Ранее, аккурат ко времени появления короткометражного расследования про Чайку, на короткое время пропал из поиска и сайт Алексея Навального. Получается, для большой информационной компании ничего политического не чуждо?

«На практике мы, может быть, когда-нибудь об этом узнаем. «Яндекс» в определенной степени политизированная компания, передавшая государству свою «золотую акцию», известная своей близостью к административным органам. Потому запросто могли договориться с властью. Единственное, не знаю, как выглядит на практике такая отмашка сверху, но технически это вполне возможно», - комментирует генеральный директор аналитического агентства «Ростелеком» Юрий Брюквин.

Действительно, в 2009 году «Яндекс» продал Сбербанку ценную бумагу всего за один символический евро. «Золотая акция» дает государству довольно широкие полномочия в области контроля за акционерным капиталом и активами компании. Остальным она дает повод последить за ее деятельностью более предвзято.

«Другое дело, это не мешает известному видео с Чайкой бить рекорды популярности. Хотя глупо отрицать, что «Яндекс» теряет долю на рынке поисковой выдачи, уступает позиции тому же Google. В том числе определенное влияние на падение рейтинга оказывают и такие процессы. Но любые технологические компании достаточно политизированы, от этого никуда не деться», - считает собеседник.

По его словам, если факты искусственного выбивания из поиска всплывут, то нанесут существенный урон репутации, который точно не сопоставим с теми дивидендами, в том числе и политическими, которые можно получить от государства. О чем уже говорят косвенные свидетельства.

«Конечно, есть возможность воздействовать на поисковые выдачи как со стороны сеошников, так и со стороны администрации. Например, если мы говорим о праве на забвение, то оно как раз строится на том, что администраторы имеют возможность убрать ту или иную информацию из поисковой выдачи», - комментирует координатор Центра безопасного Интернета Урван Парфентьев.

Поправки в закон «Об информации, информационных технологиях и о защите информации» вступят в силу с 1 января 2016 года. Поисковики по требованию гражданина будут обязаны удалить из поисковой выдачи ссылки с недостоверной и неактуальной информацией или с данными, нарушающими другие законы. То есть, говоря простым языком, предать забвению.

Парфентьев приводит в пример случаи, когда поисковые системы применяли меры для затруднения доступа к пиратскому контенту. Так, после выхода нового фильма нельзя было поймать ссылку на него на пиратском сайте с первых страниц поисковика.

«Принимаются меры в том же Google для того, чтобы убрать выдачу детской порнографии. Такие изображения вы на национальных языках (в родной среде) в поисковых системах не увидите. С некоторыми мощными интернет-мемами, ущемляющими честь и достоинство, боролись такими методами за рубежом. Но, объективно говоря, если бы такая практика имела место у нас, то выдачи расследования Фонда по борьбе с коррупцией мы бы не находили вообще, но мы же находим», - резюмирует эксперт.

Обычно IT-специалисты приводят целый спектр причин, почему поисковики выкидывают сайты со своих страниц. Неугодные порталы могли использовать накрутку, переусердствовать в рассылке спама, не отличаться уникальным контентом или вообще производить информацию не для людей, а для роботов. Во всех этих подозрительных случаях сайт выпадет из выдачи.

04:16 pm - Пропала страница из поисковой выдачи Яндекса

Яндекс - это загадка! По идее 1000 страниц (уникального?) контента должны давать как минимум 1000 посетителей. Если речь идёт о поисковом трафике, то здесь многое зависит от того, сколько страниц находится в индексе (базе данных) поисковой системы. Конечно, там много всяких факторов, но меня интересует вот что: как и почему пропадают страницы из этого самого индекса Яндекса?

Примечание : эту тему я подымал в своём журнале неоднократно. Проблемы и индексации, на живом примере, достаточно актуальны и вот только теперь, благодаря ответам Александра Садовского , руководитель отдела веб-поиска Яндекса, на первом в истории существовании SEO в Рунете закрытом круглом столе, нашёлся таки хоть какой-то более-менее реальный ответ.

В сервисе Яндекс.Вебмастер есть такие параметры как количество загруженных роботом страниц и количество страниц в поиске. Параметр загружено роботом подразумевает количество страниц, к которым смог (успел?) обратиться робот поисковой системы. Параметр страниц в поиске подразумевает количество страниц, загруженных роботом, прошедших все проверки и участвующих в поиске.

Понятно, что дубликаты, редиректы, спам и т.д. не попадают в результаты поиска. В тоже время, бывает и так, что страница проиндексировалась нормально, а потом исчезла в неизвестном направлении. Именно поэтому значения выше упомянутых параметров могут значительно отличаться друг от друга. Например, у моего журнала, на момент написания заметки, были следующие значения: загружено роботом - 684 , страниц в поиске - 313 . И это ещё не самый худший вариант.

Дело в том, что при ранжировании страницы в Яндекс учитывается множество статических (связанных с самим сайтов) и динамических (зависящих от запроса пользователя) факторов. Если страница не появляется даже на тысячном месте, вне зависимости от сочетания этих факторов, то смысла хранить её нет. Поэтому, со временем, она может исчезнуть из поисковой выдачи. Другими словами, несмотря на то, что сайт нужно делать для людей, но только спрос может обеспечить существование вашей страницы в поисковой выдаче.

Примечание : если говорить о ЖЖ не стоит забывать, что архив здесь закрыт для индексации, а в общей ленте выводятся далеко не все заметки. Лично у меня на странице?skip=390 , ссылка Previous 10 entries ведёт уже в архив.

Comments:

Поэтому уникальный контент в ЖЖ нет смысла постить. Теперь я понимаю копипастеров. Спасибо за пост. Многое прояснилось теперь.

Почему же нет смыла? Главное чтоб он успел попасть в индекс. Можно также периодически перелинковку делать, т.е. в новых статьях давать ссылки на старые. Можно ещё обновить дату, сабж в RSS не попадёт но будет на главной странице. В общем, всё относительно.

Речь же в моей заметке не об этом, а о том чтоб контент был вообще востребован и входил хотя бы в первую 1000 по какому-то из более-менее актуальных поисковых запросов.

Вот про тысячу страниц контента и как минимум тысячу посетителей, как становится ясно из видео, фотография из которого в этой статье выложена, Яндекс и говорит.

Правда, я так и не понял, зачем им подобные трудности с отбором мусора, если весь мусор всё равно присутствует в архиве загруженных роботом страниц. Они заявляют, что если контент не запрашивается пользователями, он не будет показан - и пусть не показывают, зато объединили бы "Страницы в поиске" и "Загружены роботом". Была бы одна база, меньше трудностей и, следовательно, меньше проблем...

Ну, мусор не показывают чтоб ресурсы сэкономить - это понятно. А информация "Страниц в поиске" и "Загружены роботом" всё таки нужна. Хотя бы для того, чтоб вебмастер мог сориентироваться нет ли проблем при индексации его сайта. Хотя, здесь было бы удобней, если бы Яндекс показывал какие именно страницы загружены роботом, а то только одна структура. А лучше всего страницы, которые исключены из поиска, тогда сразу можно было бы понять над чем нужно поработать. В общем, как всегда что-то и как-то не так в логике, но имеем то, что имеем (имхо).

Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.

Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?

","contentType":"text/plain"},"proposedBody":{"source":"

","contentType":"text/plain"},"authorId":"6446625","slug":"8396","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":29,"modificationDate":"Thu Oct 17 2013 14:14:40 GMT+0000 (UTC)","approvedPreview":{"source":"

","html":"Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.","contentType":"text/plain"},"titleImage":null,"tags":,"isModerator":false,"url":"/blog/partner/8396","urlTemplate":"/blog/partner/%slug%","fullBlogUrl":"https://yandex.ru/blog/partner","addCommentUrl":"/blog/createComment/partner/8396","updateCommentUrl":"/blog/updateComment/partner/8396","addCommentWithCaptcha":"/blog/createWithCaptcha/partner/8396","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog/partner","urlEditPost":"/blog/56a93308d97351872e73283f/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/56a93308d97351872e73283f/publish","urlUnpublishPost":"/blog/56a93308d97351872e73283f/unpublish","urlRemovePost":"/blog/56a93308d97351872e73283f/removePost","urlDraft":"/blog/partner/8396/draft","urlDraftTemplate":"/blog/partner/%slug%/draft","urlRemoveDraft":"/blog/56a93308d97351872e73283f/removeDraft","urlTagSuggest":"/blog/api/suggest/partner","urlAfterDelete":"/blog/partner","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/56a93308d97351872e73283f","unsubscribeUrl":"/blog/api/unsubscribe/56a93308d97351872e73283f","urlEditPostPage":"/blog/partner/56a93308d97351872e73283f/edit","urlForTranslate":"/blog/post/translate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/partner/8396/translationStatus","urlRelatedArticles":"/blog/api/relatedArticles/partner/8396","ampUrl":"https://blog.yandex.net/amp/ru/partner/8396","author":{"id":"6446625","uid":{"value":"6446625","lite":false,"hosted":false},"aliases":{},"login":"rlocman","display_name":{"name":"rlocman","avatar":{"default":"0/0-0","empty":true}},"address":"[email protected]","imageSrc":"https://yapic..000Z","socialImage":{"orig":{"fullPath":"http://avatars.yandex.net/get-yablog/4611686018427441880/normal"}}}}}">

Прежде чем паниковать нужно убедится, что страница действительно выпала из индекса поисковика. Способов существует масса. Расскажу как проверяю сам.

Проверяем индекс Яндекса

Идем в вебмастер. И находим поверку URL. Вставляем адрес страницы и ждем около минуты. Смотрим отчет.

Почему смотрю тут. Одним махом убиваю сразу двух зайцев:

2. Получаю информацию о коде ответа сервера и когда в последний раз страница с материалом посещалась.

Проверяем страницу в Гугл

Тут поступаю проще всего. Открываем поиск Гугла . И вбиваем адрес страницы. Лучше адрес указать в кавычках "". Выпал точный адрес в поиске, занчит статья присутсвует в выдаче. Естественно, ссылки из других страниц могут присутсвовать, но их сразу видно.

Куда пропала статья из выдачи

Страницы могут долго не появлятся в выдаче, но однажды туда попав исчежнуть они могут только в нескольских случаях. Вот список этих ситуаций:

1. Страницу вебмастер насильно вычеркнул из поиска. По этому вопросу рекомендую заметку с этого сайта . Удалив из индекса статья автоматом исчезает и из выдачи, Через 1-2 апдейта поисковой базы.

2. Бот Яндекса или Гугла, при плановой проверке сайта, наткнулся на код возврата отличный от 200 (ОК). Про коды возврата при обходе бота писал в статье . Обычно это или редирект 301 или страница не существует 404.

3. Изменился адрес страницы. По старому она уже не доступна, а по новому ещё не обработана. Ошибка возникает при применении плагинов, которые "в тихую" меняют адреса страниц.

4. Запрет по решению суда. Для России экзотическое дело. У нас сразу блокируют сайт. И хорошо, если по имени. А то одно время блокировали IP сайта. И под раздачу попадали и все сайты находящиеся рядом.

Пожалуй и все причины. Напомню, что мы говорим о исчезновении странице из выдаче, а не запросов, по которым страница была в выдаче. Про запросы отдельно напишу статью.

Возвращаем статью в выдачу поисковиков Яндекса и Гугла

Раз мы выявили проблему, то теперь её можно решать.

Первым делом убеждаемся, что страница доступна и открыта для индексации. в статье по ссылке.

Важно понимать, что если статья из индекса поисковика ушла, то это означает:

1. Если будет найдена аналогичная статья (читай "скопированная"), то она может быть признана канонической (первоисточником).

2. Статья будет индексироватья и ранжироваться заново. Даже если предыдущая, точная копия / оригинал, ранее был в выдаче.

Известно, что новые статьи поисковики индексирую лучше и охотнее, чем старые. Поэтому, если речь идет о единичной статье, то первым делом изменяем её адрес и ставим редирект 301 со старого адреса на новый. Редирект нужен, чтобы все старые ссылки работали нормально и передался вес с внешних ресурсов.

В идеальном случае желательно изменить совсем не значительно текст. Написать ещё одно предложение, например. Ряд движков при этом изменит значение оператора modified, что даст информацию поисковику в обязательном порядке перепрочитать материал.

Теперь нужно разделить механизмы возврата в индекс для Янедекса и Гугла. У меня были случаи, что статьи выпадали. Но не припомню, чтобы они разом выпали и из Яндекса и из Гугла. К тому, что методы возврата несколько противорячат друг другу.

Отправляем в индекс Яндекса повторно

Берем сервис GetBot и присылаем быстробота яндекса на сайт. Через 10 минут статья снова в индекса от быстробота. И через неделю - две уже в основном индексе. Других методов ускорить индексацию глобально нет. Разве что на супертрастовом ресурсе купить ссылку и организовать несколько переходов по ней (с хорошей активностью).

Отправляем в индекс Гугла повторно

Есть настроенный фид? Да, то и делать ничего не нужно. Нет - настраиваем фид. Статья с измененным адресом автоматом попадет куда надо. Срок 1-2 дня для индексации. И максимум 2-3 дня для появления в основной выдаче.

Пусть Ваши статьи всегда будут в индексе!

Online-сервисы