Поиск

Как работают поисковые системы Яндекс и Google

Здравствуйте уважаемые читатели . Сегодня я расскажу, как указать поисковикам Яндекс и Google на главное зеркало сайта.

Что такое зеркало сайта? По мнению Яндекса, зеркало является частично или полной копией сайта. Есть и другие трактования, но суть одна — это очень плохо отражается на поисковом продвижении.

В чем же заключается эдакая зеркальность? Если вы попробуете набрать домен своего сайта например: www.сайт.com и просто сайт.com, то попадете в обоих случаях на главную страницу. Так вот, для поисковой машины это два совершенно разных сайта с полностью идентичным содержимый.

То есть, это полный дубль сайта. О различных дублях контента я подробно писал в статьях: » и « «.

Дело в том, что надо определится по поводу главного зеркала, будет сайт с www или без него. Кстати по этому поводу мнения сильно разнятся, но если почитать историю возникновения www, то становится понятно, что www это уже в прямом и переносном смысле — прошлый век. Беру на себя смелость посоветовать своим читателя отказаться от пресловутой аббревиатуры создателей всемирной паутины.

Аббревиатура WWW расшифровывается, как World Wide Web и переводится просто — «Всемирная паутина».

Теперь когда мы определились с основным зеркалом, самое время сообщить об этом крупным поисковым системам.

Как указать Яндексу на главное зеркало

Указать Яндексу на главное зеркало можно перейдя по этой ссылке . Следуем — «Мои сайты «, выбираем свой сайт или один из своих сайтов, — «Настройка индексирования » — «Главное зеркало «:



Как указать Google на главное зеркало

Чтобы указать Google на главное зеркало, я пошел уже протоптанной другими веб-мастерами дорожкой, инструменты для веб-мастеров — «Конфигурация » — «Настройки »





Почитам немного справочник Google я понял, что для прохождения данной процедуры надо попасть в сервис Google Apps для бизнеса



Проходим регистрацию и попадаем на панель администратора. Далее выбираем — «Подтвердить право собственности на домен»



В всплывающем окне нажимаем — «Продолжить» и попадаем на страницу, где нам предлагается выбрать регистратора домена или провайдера:



Если Вы не нашли в предложенном списке своего регистратора домена, то в самом конце выбираем — «Другое»





Задачка! Но не все так страшно как может показаться на первый взгляд. Копируем предложенный код и идем в панель управления своего хостинг-провайдера, заходим в настройки DNS и в поле TXT-запись вставляем скопированный код. На моем хостинге поле TXT-запись выглядит так:



Если там уже есть какие-то символы, то просто заменяем их скопированным кодом от Google. Теперь возвращаемся в панель управления и нажимаем кнопку — «Подтвердить» и если мы все сделали правильно появится такое сообщение:

Также Google предлагает альтернативные способы подтверждения и я попытался воспользовался одним из них для моего тестового домена:

Но как я не старался получить файл googleb1c540918a6ec845.html Гугл настойчиво слал мне совершенно другой файл, точно такой же, что я закачал в корень сайта при регистрации в поисковой системе Google и потом упорно не хотел его видеть. Тогда я пошел другим путем, методом добавления метатега файл header.php. и на этот раз подтверждение прошло успешно.

Каким из предложенный вариантов воспользоваться конечно решать Вам, но наверно лучше идти по рекомендованному пути, ведь не зря же он — «рекомендованный».

Чтобы окончательно завершить перенаправление, кроме всего вышесказанного, необходимо

Если возникли сложности, то расскажите об них в комментариях.

На сегодня у меня все. Как Вам моя статья?

Вот такие дороги в Сибири, но и машины…

С уважением, Виталий Кириллов

Тогда мы затронули только сам процесс добавления и я упомянул вам о важности указания поисковым системам главного зеркала вашего блога, давайте сегодня рассмотрим это более подробно.

Во первых, что-же такое зеркало блога или сайта? В поисковых системах зеркалом сайта считается, как полное так и частичное отображение или проще говоря копия того или иного сайта.

Теперь давайте рассмотрим, как это может коснуться вашего сайта. К примеру адрес вашего сайта имеет вот такой вид , при его наборе в адресную строку браузера посетитель попадает на главную страницу вашего сайта и тоже самое произойдёт если набрать . Но поисковики это считают двумя разными сайтами, но с полностью одним и тем-же содержимым, то-есть полное копирование друг друга (дубль). Думаю всем понятно во-что это всё может вылиться.

И по этому при добавлении сайта в поисковую систему очень важно обязательно указать главное его зеркало, то есть с www или без.

Никакого преимущества www перед адресом вашего сайта не даёт и идёт из глубин создания всемирной сети. Расшифровывается, как всемирная паутина. Поэтому сегодня нет никакого смысла его использовать, но выбор конечно за вами.

И так если вы определились с тем, какое главное зеркало будет у вашего сайта. Вам нужно сообщить его поисковым системам Яндекс и Google. Давайте начнём с первого.

Как указать Яндексу на главное зеркало сайта



Как видите ничего сложного нет.

Теперь проведём эту-же операцию для Google.

И вот тут можно столкнуться с трудностью, давайте подробней.





То-есть мы должны пройти всю процедуру добавления сайта в Google. Что мы делали в уже упомянутой мной прошлой статье.

То-есть, как-бы добавить новый сайт и если я в прошлый раз добавлял сайт с адресом: сайт то теперь его нужно указать при добавлении, как сайт с : www..

И так проходим всю процедуру снова. При этом также подтверждаем права на пользования доменом с www. Конечно вам не нужно будет загружать на новый файл подтверждения, так-как мы это сделали в прошлый раз, поэтому сразу нажимаем подтвердить.

И если в прошлый раз у нас было сообщение такого вида.

Теперь оно будет вот таким:



Теперь возвращаемся на главную страницу «инструменты веб-мастера», выбираем сайты по очереди, версию с www и без. В каждом случае кликаем по картинке в виде шестерёнке, как показано на картинке выше и выбираем настройки сайта. Где указываем желаемое зеркало.

Как видите всё получилось.

Для окончательного перенаправления на вашего сайта, вам необходимо ещё сделать с помощью файл.htaccess. Это мы так-же обсудим в ближайших статьях подписывайтесь обязательно на обновления и до новых встреч!

Первое, что необходимо усвоить: поисковики разыскивают новые ресурсы при помощи роботов. Последние переходят со ссылки на ссылку и, обнаружив очередной ресурс, вносят его в очередь на индексацию. Главные поисковые системы располагают собственными формами для добавления новых сайтов - «аддурилками » (от английского «add url »). Именно по этим адресам вебмастера могут зарегистрировать сайт. Мы собрали мини-справочник с контактами основных поисковиков.

Как добавить сайт в Яндекс?

Наиболее популярным поисковиком на территории РФ считается Яндекс. Его аддурилку вы сможете найти вот по этому адресу (http://webmaster.yandex.ru/ ). Если у сайта не будет проблем с уникальностью контента, он попадет в индекс за несколько дней. Хотя, известны случаи, когда мастера ждали индексации месяцами. Чтобы максимально сократить время ожидания, попробуйте разместить ссылку на сайт в сторонних ресурсах - например, на форуме или на сайте объявлений.

Как происходит регистрация сайта в Гугл ?


Главное преимущество этой поисковой системы - о ней знают все. Add url в Гугле можно, перейдя вот по этому адресу http://www.google.com/addurl/. Имейте в виду: добавляя свой сайт в форму, вы не получаете никаких гарантий, что ресурс окажется-таки в индексе. Возможно, как и в случае с Яндексом, вам придется подождать пару недель или даже месяцев. Хотя, добавление сайта в Гугл имеет свои преимущества. Например, для того, чтобы ресурс быстрее появился в индексе, поместите ссылку на сайт на одном из форумов или проверенных ресурсов, где часто появляется поисковый робот.

Закрепляем позицию сайта в поисковике Rambler



Это - второй по популярности поисковик Рунета. Найти его аддурилку можно вот здесь (http://www.rambler.ru/doc/add_site_form.shtml ). Ресурс будет зарегистрирован только в том случае, если он находится в российских доменах или на территории стран СНГ. Время, необходимое для переиндексации документов, - около двух недель.

Регистрация сайта в других поисковиках

  • Чтобы добавить сайт в один из самых популярных украинских поисковиков Meta.ua, зарегистрируйтесь на МетаПаспорте. Аддурилка поисковика расположена вот здесь (http://meta.ua/webmaster/addurl.asp ). Кроме того, на сайте вы найдете пункт «В помощь вебмастеру». Там все желающие могут оставлять заявки на смену описания ресурса в реестре или, например, соревноваться за места в рейтинге Меты.
  • Если вы хотите добавить сайт в поисковую систему Апорт, сразу переходите в ее аддурилку (http://catalog.aport.ru/rus/add/AddUrl.aspx ). Как обещает сама система, сайт оказывается в индексе за 2 недели. Вы также можете поместить свой ресурс в каталоге Апорт, заполнив еще одну форму с кратким описанием проекта.
  • Многие сеошники предпочитают добавить сайт в Yahoo . Этот поисковик претендует на второе место по популярности среди пользователей по всему миру, да и вообще, считается одним из пионеров среди поисковых систем. Аддурилку его вы найдете по этому адресу http://siteexplorer.search.yahoo.com/submit . Регистрация в зарубежном поисковике потребует от вас Yahoo! ID и логина. Кстати, после того, как ваш сайт внесут в индекс Yahoo , он в автоматическом порядке появится и в поисковике AltaVista (тоже весьма популярном).

Напоследок отметим, что в Google и Яндекс есть также раздел поиска по блогам. Поэтому владельцы блогов с возможностью подписки по RSS могут добавить ресурс, используя форму в сервисах ППБ. Для Гугла это http://blogsearch.google.com/ping , для Яндекса - http://www.blogs.yandex.ru/add.xml.

Каждый из нас считает себя уникальным. Каждый из нас думает, что прекрасно знает себя. Каждый ответ поисковой системы на любой наш запрос доказывает обратное

Мы не так уникальны, как думаем: миллионы людей до нас озадачивали и миллионы после нас озадачат поисковик почти одинаковыми вопросами. С другой стороны, мы слишком непредсказуемы: на формулировку нашего запроса влияет огромное количество неосознаваемых нами факторов. И хотя бы поэтому запрос каждого из нас, каким бы банальным он ни был, требует индивидуального подхода.

Фактически вся работа поисковика «Яндекс» сводится к двум простым вещам: понять, что на самом деле хочет узнать человек, и за несколько секунд найти для него среди миллиардов документов в Сети подходящие.


Снять отпечатки

Система работы поисковика чем-то похожа на «Матрицу», а поисковый робот (созданная ею сложная, самостоятельно принимающая решения программа) — на агента Смита.


В 1997 году, когда «Яндекс» только открылся, для работы хватало одного сервера. Через три года компания арендовала четыре стойки, где размещалось около 40 компьютеров. Эти несколько десятков и стали основой первого дата-центра. Сегодня у «Яндекса» разветвленная и независимая от офисов сеть центров, в которых размещено несколько тысяч серверов . Фото: ЯНДЕКС

Чтобы не обыскивать весь Интернет каждый раз, когда кому-то что-то нужно узнать, поисковик делает часть работы заранее — проверяет, что есть в Сети и где это лежит, с помощью тысяч поисковых роботов. Они бывают двух типов: основной и быстрый. Основной обходит и обрабатывает Интернет в целом, а быстрый — документы, появившиеся минуту или даже пару секунд назад. Задача программ-роботов — отобрать годную и полезную для пользователей информацию, переработать ее, отсеяв все устаревшее и ненужное. В чем-то это напоминает сортировку мусора: бумага в один контейнер, стекло в другой, пластик в третий, пищевые отходы в четвертый...

Собранная роботами информация образует так называемый слепок Интернета. Он хранится на тысячах серверов «Яндекса» и постоянно обновляется. Слепок похож на список, в котором указано, в каком месте какую информацию можно найти. В этом списке у каждого ключевого слова указана не одна, а миллионы «страниц». Чтобы все обновления слепка были доступны пользователям, их переносят из хранилища на «базовый поиск». Данные от основного робота переносятся раз в несколько дней, а от быстрого робота — в реальном времени.

Вывести на чистую воду

Разыскивая ответ на заданный вопрос в подготовленной базе, машина сталкивается с двумя основными сложностями. Первая сложность — язык. Прежде чем искать ответ на вопрос, машине важно понять, на каком языке это делать. Например, для русскоязычного человека на запрос «дружина князя Игоря» поиск найдет документы с информацией о войске, а для украинца на «дружина князя Iгоря» выдаст также документы, упоминающие княгиню Ольгу, его супругу, так как по-украински «жена» — это «дружина». Да и в богатом русском языке одно и то же слово или его производные могут означать разные вещи. Например, слово «стали» — это одна из форм существительного «сталь» и глагола «стать». Вторая сложность — человеческая психология. Вводя запрос, мы ожидаем быстрого и точного ответа, не заботясь, естественно, о соответствии формулировки запроса принципам математического анализа, по которым работает мозг машины. Например, введя в поисковую строку слово «наполеон», что человек хочет получить: рецепт торта или биографию французского императора, купить коньяк или найти адрес психиатрической больницы?

В таких ситуациях в дело вступают сразу несколько технологий. Можно выдать вам под строкой поиска несколько подсказок, конкретизирующих запрос. Мол, выберите, что вам нужно: «наполеон — рецепты» или «Наполеон — Бонапарт». Если пользователь не реагирует на просьбу машины и не добавляет к «наполеону» слов, то делу помогает технология «Спектр»: не надеясь на помощь, машина сразу ищет информацию по нескольким категориям (и про торт, и про императора, и про коньяк...). Кроме того, понять пользователя помогают механизмы персонализации — знания машины о том, что этот пользователь искал со своего компьютера день-два-три-месяц назад: если вы часто задавали «Яндексу» вопросы про кулинарию, то машина вначале покажет вам результаты, говорящие, что наполеон — торт.

Комбинации: клубы по интересам

Задача поисковой машины не сводится к тому, чтобы просто отобрать документы, в которых встречаются слова и словосочетания из поискового запроса. Машина должна понять, какие документы соответствуют нашим противоречивым требованиям и почему они им соответствуют. Хотим ли мы получить информацию о наполеоне-пирожном, или, может быть, мы пару лет посещали фитнес-клуб с пафосным названием, а то и вовсе озабочены комплексами людей невысокого роста. В любом случае решение задачи требует нетривиального подхода.

Создатели поисковой программы «Яндекс» нашли такой подход, делегировав право выбора машине. С одной стороны, бездушная, но очень быстрая и умная машина не знает и не хочет ничего знать о нас как о личностях, а с другой — она старается выяснить о каждом как можно больше.

Помимо географического положения пользователя и лингвистического анализа его запросов, поисковая машина использует несколько тысяч критериев, совершенно неочевидных для человека.

Фокус в том, что эти критерии машина разрабатывает и обновляет самостоятельно.

Она просто использует данные о предпочтениях и пользовательском поведении миллионов людей и связывает это «среднее арифметическое» с историей наших запросов. Принципы, которыми руководствуется «Матрица» внутри себя, сопоставляя тысячи разработанных ею категорий пользовательских интересов, часто не укладываются в традиционные человеческие представления о том, какими в принципе могут быть «интересы». Их десятки тысяч. Они создают друг с другом разные, порой забавные, комбинации. К примеру, одной из таких комбинаций может являться соответствие результатов поиска интересам человека, разводящего тритонов. При этом человек не просто интересуется тритонами, а уже разводит их, но только первый год.

Оценки. Руки помощи

«Матрица», конечно, сама решает (с помощью высшей математики), что и в какой последовательности нужно показать пользователям на основании десятков тысяч критериев. Но живых людей «Матрица» тоже использует — 1000 сотрудников «Яндекса», так называемых асессоров, оценивают результаты поиска по тому или иному запросу (конечно, не каждый запрос подвергается оценке, и делается это не в режиме реального времени) на предмет их соответствия ожиданиям обычного пользователя: не такого рационального, как машина, не такого точного в формулировках, противоречивого и эмоционального.

Каждый из нас считает себя уникальным. Каждый из нас думает, что прекрасно знает себя. Каждый ответ поисковой системы на любой наш запрос доказывает обратное.

Мы не так уникальны, как думаем: миллионы людей до нас озадачивали и миллионы после нас озадачат поисковик почти одинаковыми вопросами. С другой стороны, мы слишком непредсказуемы: на формулировку нашего запроса влияет огромное количество неосознаваемых нами факторов. И хотя бы поэтому запрос каждого из нас, каким бы банальным он ни был, требует индивидуального подхода.

Фактически вся работа поисковика «Яндекс» сводится к двум простым вещам: понять, что на самом деле хочет узнать человек, и за несколько секунд найти для него среди миллиардов документов в Сети подходящие.

Система работы поисковика чем-то похожа на Матрицу, а поисковый робот (созданная ею сложная, самостоятельно принимающая решения программа) - на агента Смита.


В 1997 году, когда «Яндекс» только открылся, для работы хватало одного сервера. Через три года компания арендовала четыре стойки, где размещалось около 40 компьютеров. Эти несколько десятков и стали основой первого дата-центра. Сегодня у «Яндекса» разветвленная и независимая от офисов сеть цент ров, в которых размещено несколько тысяч серверов. Фото: ЯНДЕКС

Чтобы не обыскивать весь Интернет каждый раз, когда кому-то что-то нужно узнать, поисковик делает часть работы заранее - проверяет, что есть в Сети и где это лежит, с помощью тысяч поисковых роботов. Они бывают двух типов: основной и быстрый. Основной обходит и обрабатывает Интернет в целом, а быстрый - документы, появившиеся минуту или даже пару секунд назад. Задача программ-роботов - отобрать годную и полезную для пользователей информацию, переработать ее, отсеяв все устаревшее и ненужное. В чем-то это напоминает сортировку мусора: бумага в один контейнер, стекло в другой, пластик в третий, пищевые отходы в четвертый...

Собранная роботами информация образует так называемый слепок Интернета. Он хранится на тысячах серверов «Яндекса» и постоянно обновляется. Слепок похож на список, в котором указано, в каком месте какую информацию можно найти. В этом списке у каждого ключевого слова указана не одна, а миллионы «страниц». Чтобы все обновления слепка были доступны пользователям, их переносят из хранилища на «базовый поиск». Данные от основного робота переносятся раз в несколько дней, а от быстрого робота - в реальном времени.

Вывести на чистую воду

Разыскивая ответ на заданный вопрос в подготовленной базе, машина сталкивается с двумя основными сложностями. Первая сложность - язык. Прежде чем искать ответ на вопрос, машине важно понять, на каком языке это делать. Например, для русскоязычного человека на запрос «дружина князя Игоря» поиск найдет документы с информацией о войске, а для украинца на «дружина князя Iгоря» выдаст также документы, упоминающие княгиню Ольгу, его супругу, так как по-украински «жена» - это «дружина». Да и в богатом русском языке одно и то же слово или его производные могут означать разные вещи. Например, слово «стали» - это одна из форм существительного «сталь» и глагола «стать». Вторая сложность - человеческая психология. Вводя запрос, мы ожидаем быстрого и точного ответа, не заботясь, естественно, о соответствии формулировки запроса принципам математического анализа, по которым работает мозг машины. Например, введя в поисковую строку слово «наполеон», что человек хочет получить: рецепт торта или биографию французского императора, купить коньяк или найти адрес психиатрической больницы?


В таких ситуациях в дело вступают сразу несколько технологий. Можно выдать вам под строкой поиска несколько подсказок, конкретизирующих запрос. Мол, выберите, что вам нужно: наполеон-рецепты или Наполеон - Бонапарт. Если пользователь не реагирует на просьбу машины и не добавляет к «наполеону» слов, то делу помогает технология «Спектр»: не надеясь на помощь, машина сразу ищет информацию по нескольким категориям (и про торт, и про императора, и про конь як...). Кроме того, понять пользователя помогают механизмы персонализации - знания машины о том, что этот пользователь искал со своего компьютера день-два-три-месяц назад: если вы часто задавали «Яндексу» вопросы про кулинарию, то машина вначале покажет вам результаты, говорящие, что наполеон - торт.

Комбинации: клубы по интересам

Задача поисковой машины не сводится к тому, чтобы просто отобрать документы, в которых встречаются слова и словосочетания из поискового запроса. Машина должна понять, какие документы соответствуют нашим противоречивым требованиям и почему они им соответствуют. Хотим ли мы получить информацию о наполеоне - пирожном, или, может быть, мы пару лет посещали фитнес-клуб с пафосным названием, а то и вовсе озабочены комплексами людей невысокого роста. В любом случае решение задачи требует нетривиального подхода.


Создатели поисковой программы «Яндекс» нашли такой подход, делегировав право выбора машине. С одной стороны, бездушная, но очень быстрая и умная машина не знает и не хочет ничего знать о нас как о личностях, а с другой - она старается выяснить о каждом как можно больше.

Помимо географического положения пользователя и лингвистического анализа его запросов поисковая машина использует несколько тысяч критериев, совершенно не очевидных для человека.

Фокус в том, что эти критерии машина разрабатывает и обновляет самостоятельно.
Она просто использует данные о предпочтениях и пользовательском поведении миллионов людей и связывает это «среднее арифметическое» с историей наших запросов. Принципы, которыми руководствуется Матрица внутри себя, сопоставляя тысячи разработанных ею категорий пользовательских интересов, часто не укладываются в традиционные человеческие представления о том, какими в принципе могут быть «интересы». Их десятки тысяч. Они создают друг с другом разные, порой забавные, комбинации. К примеру, одной из таких комбинаций может являться соответствие результатов поиска интересам человека, разводящего тритонов. При этом человек не просто интересуется тритонами, а уже разводит их, но только первый год.

Оценки. Руки помощи

Матрица, конечно, сама решает (с помощью высшей математики), что и в какой последовательности нужно показать пользователям на основании десятков тысяч критериев. Но живых людей Матрица тоже использует - 1000 сотрудников «Яндекса», так называемых асессоров, оценивают результаты поиска по тому или иному запросу (конечно, не каждый запрос подвергается оценке, и делается это не в режиме реального времени) на предмет их соответствия ожиданиям обычного пользователя: не такого рационального, как машина, не такого точного в формулировках, противоречивого и эмоционального.