9. Чем могут помочь каталоги поисковых систем?
Чтобы быстро проверить наличие веб-сайта в поисковой системе, выполните поиск по егоURL-адресу.
Например, если нужно посмотреть, имеется ли Википедия в поисковом индексе, то нужно ввести следующую команду в поисковую строку
https://www.youtube.com/watch?v=ytaboutru
site:wikipedia.orgЧто важно знать?
Поисковый оператор site пишется с маленькой буквы. Перед и после двоеточия тире не ставится.
С его помощью можно увидеть примерное кол-во страниц сайта в индексе поисковой системы.
В панелях веб-мастеров поисковых систем вот таким путем.
Google Search Console – Индекс Google – Статус Индексирования. Подробнее читайте тут.
Яндекс.Вебмастер – Индексирование – Страницы в поиске – История. Читаем здесь.
Bing Webmaster – Панель мониторинга – Активность на сайте – Есть в поиске в данный период.
Некоторые страницы могут не быть в поисковой базе. Чаще всего причины следующие:
- Другие ресурсы редко ссылаются на ваши страницы.
Проставьте несколько ссылок с тематических, трастовых и незаспамленных площадок. Бот перейдет по внешней ссылке, просканирует и добавит страницу на индексацию.
- Если сайт новый, то поисковик может не успеть отсканировать его.
Нужно подождать. Сделайте действия, указанные ниже: добавьте его в панели веб-мастеров, сошлитесь на домашнюю страницу несколькими ссылками из справочников поисковых систем, например, Google Мой Бизнес, Яндекс.Справочник.
- Структура сайта затрудняет сканирование.
Понятную и удобную структуру и навигацию, используя внутренние ссылки для связи с другими веб-документами, не плодить дублированных страниц, делать короткие, описательные и человекопонятные URL, без спецсимволов типа &, $, #, %, @, ?
- При попытке сканирования произошла ошибка.
Например, сервер слишком долго не отвечает. Краулер может подождать ответа в течении определенного промежутка времени, после чего он прекращает свои попытки просканить УРЛ.Нужно оптимизировать работу сервера для ускорения времени отклика.
Этот пункт хорошо дополняют эти статьиРуководство по Google RankBrain. 11 важных мыслей из статьи Брайана Дина. Вы рассмотрите краткий обзор этого алгоритма, узнаете, как он работает, что изменилось в Google Поиске с его приходом, как он измеряет удовлетворенность пользователей, как он исследует поисковые запросы и еще несколько интересных вещей.
Т.к. принцип работы поискового бота основан на переходе по ссылкам в сети Интернет для нахождения новых страниц, то вы можете добавить свой ресурс в трастовые и незаспамленные каталоги поисковых систем. Кроме индексации URL-адресов сайт получит и бэклинк с трастовой площадки.
Для Google – ранее был DMOZ. Сейчас уже не работает.
Для Яндекс – это Яндекс.Каталог. Прием заявок на добавление в каталог прекращен.
11. Какие есть сервисы для индексации страниц?
Вот что пишет автор этого сервиса Игорь Закревский о его работе.
Как работать с сервисом, указано на его странице.
Игорь говорит, что если у сайта-донора запрещено открытие сайта в iframe (через скрипты или .htaccess), то отправить сообщить поиску о странице не получится(.
Мы больше применяем возможности сервисадля того, чтобы быстро загнать страницу в индекс.
Ознакомиться с принципами работы этого сервиса, его преимуществами, возможностями и тарифными планами можете на официальном сайте.
1. Регистрируемся
2. Пополняем счет
3. Создаем проект
4. Добавляем URLы
5. Выбираем тариф
6. Сохраняем и мониторим состояние на странице «Проекты».
3. Как добавить сайт в Google?
Есть 3 способа. Давайте рассмотрим их.
https://www.youtube.com/watch?v=ytdevru
1. Добавляем ресурс в панель вебмастера Google на этой странице.
2. Указываем тип ресурса – веб-сайт или мобильное приложение. В нашем случае, это сайт.
Указываем ссылку на главную страницу, с протоколом https (если сайт переведен на него) или без него, а также – с www и без. Т.е, добавляем 4 версии сайта, если имеется https (https://www, https://, http://www, http//), если нет защищенного протокола, тогда добавляем только две версии.
Но не все из них могут вам подойти.
Что делать? Все эти способы, а также, какие могут быть ошибки при подтверждении, описаны в справке Гугл.Prowebagents рекомендует подтверждать права первым способом – через размещение HTML файла на сервере или мета-тега на главной страницы, т.к. они быстро реализуемые.
4. Как сообщить о сайте Яндексу?
Есть 2 способа. Рассмотрим их.
Делаем по шагам.
1. Добавляем ресурс в панель вебмастера Yandex на этой странице.
2. Указываем его адрес.
При добавлении сайта укажите адрес, по которому он доступен: с префиксом www или без него, по протоколу HTTP или HTTPS.
При внесении в Яндекс.Вебмастер ресурс должен отвечать HTTP-кодом 200 ОК. Проверить код ответа можете через этот сервис.
После нажатия на кнопку «Добавить», вам предлагается 4 варианта, как подтвердить права.
Если у сайта есть субдомен, необходимо добавить в сервис основной домен и поддомен отдельно. При этом подтвердить права можно одним кодом.
Все варианты подтверждения прав на управление ресурсом описаны тут.
1. «В очереди» — страница передана роботу для обхода. В течение 3 суток заявка будет обработана.
2. «Робот обошёл» — страница посещена роботом. Данные о странице обновятся в поиске в течение 2 недель.
3. «Ошибка» — робот не смог посетить страницу.
Дневная квота на отправку на индексирование = 140 URL (включая основной домен и все поддомены).Что важно знать?Если нужно отправить на повторное сканирование больше 140 урлов в день, можете отправлять измененные веб-документы на переобход через вкладку «Переобход страниц» на неглавных зеркалах вашего сайта, которые добавлены в панель Яндекс Вебмастер.
Таким образом вы поможете поисковому роботу быстрее найти и просканить измененные документы.
7. Добавляем сайт в Рамблер
https://www.youtube.com/watch?v=https:accounts.google.comServiceLogin
Никак. Потому что с 23 июня 2011 года Рамблер использует поисковые технологии компании Яндекс, дополняемые собственными сервисами, поэтому можно просто добавить ресурс в Яндекс.Вебмастер.
Как это сделать, описано выше.
Как вариант, можете добавить его в тематический каталог популярных ресуров Рамблер ТОП 100 через эту форму.
Сайт получит внешнюю ссылку с трастового ресурса и поисковый бот, перейдя по ссылке в каталоге, просканирует домашнюю страницу и все последующие, по имеющимся ссылкам на других документам, в соответствии с выделенным краулинговым бюджетом для вашего ресурса (временем для краулинга и кол-вом страниц, которые можно скраулить за один обход).
Что Вы можете сказать?
После добавления сайта в панели веб-мастеров, вы можете добавить ссылку на карту сайта с указанием в ней URL-страниц для того, чтобы облегчить нахождение страницы краулеру, их последующему сканированию и внесению в индекс поисковой системы.
Если где-то в интернете появилась внешняя ссылка на страницу вашего ресурса, то робот, со временем, перейдет по ней и просканит страницу, на которую она направляет.
Для ускорения сканирования и индексации можете добавлять анонсы своих статей/другой информации на созданные вами страницы в соцсетях Фейсбук, ВКонтакте, Одноклассники, Google Plus, Яндек.Дзен.
Поделитесь ответами на эти 3 простых вопроса в комментариях ниже.
1. Каким из описанных способом чаще всего добавляете страницы на индексацию?
2. Какие сервисы применяете для ускорения сканирования и индексации?
https://www.youtube.com/watch?v=ytpolicyandsafetyru
Если я что-то упустил в статье, то благодаря Вашим ответам, я дополню ее и она станет еще лучше по этой теме.