Как сообщить о новой странице сайта поисковым системам

9. Чем могут помочь каталоги поисковых систем?

Чтобы быстро проверить наличие веб-сайта в поисковой системе, выполните поиск по егоURL-адресу.

Например, если нужно посмотреть, имеется ли Википедия в поисковом индексе, то нужно ввести следующую команду в поисковую строку

https://www.youtube.com/watch?v=ytcopyrightru

site:wikipedia.orgЧто важно знать?

Поисковый оператор site пишется с маленькой буквы. Перед и после двоеточия тире не ставится.

С его помощью можно увидеть примерное кол-во страниц сайта в индексе поисковой системы.

В панелях веб-мастеров поисковых систем вот таким путем.

Google Search Console – Индекс Google – Статус Индексирования. Подробнее читайте тут.

Яндекс.Вебмастер – Индексирование – Страницы в поиске – История. Читаем здесь.

Bing Webmaster – Панель мониторинга – Активность на сайте – Есть в поиске в данный период.

Т.к. принцип работы поискового бота основан на переходе по ссылкам в сети Интернет для нахождения новых страниц, то вы можете добавить свой ресурс в трастовые и незаспамленные каталоги поисковых систем. Кроме индексации URL-адресов сайт получит и бэклинк с трастовой площадки.

Для Google – ранее был DMOZ. Сейчас уже не работает.

Для Яндекс – это Яндекс.Каталог. Прием заявок на добавление в каталог прекращен.

Как создать Sitemap.xml

https://www.youtube.com/watch?v=ytcreatorsru

Если у вас сайт на WordPress, используйте плагин Yoast SEO (бесплатно).

Если другая CMS, то онлайн генератор до 500 страниц бесплатно тут.

Если больше 500 страниц, то бесплатно можно сгенерировать sitemap.xml с помощью программы Xenu Link Sleuth.

Sitemap.xml понадобится для сообщения поисковым системам о всех страницах, которые присутствуют на сайте. Предоставление этого файла поисковикам может ускорить индексацию страниц сайта.

3. Как добавить сайт в Google?

Есть 3 способа. Давайте рассмотрим их.

1. Добавляем ресурс в панель вебмастера Google на этой странице.

2. Указываем тип ресурса – веб-сайт или мобильное приложение. В нашем случае, это сайт.

Указываем ссылку на главную страницу, с протоколом https (если сайт переведен на него) или без него, а также – с www и без. Т.е, добавляем 4 версии сайта, если имеется https (https://www, https://, http://www, http//), если нет защищенного протокола, тогда добавляем только две версии.

Но не все из них могут вам подойти.

Что делать? Все эти способы, а также, какие могут быть ошибки при подтверждении, описаны в справке Гугл.Prowebagents рекомендует подтверждать права первым способом – через размещение HTML файла на сервере или мета-тега на главной страницы, т.к. они быстро реализуемые.

4. Как сообщить о сайте Яндексу?

Есть 2 способа. Рассмотрим их.

Делаем по шагам.

1. Добавляем ресурс в панель вебмастера Yandex на этой странице.

2. Указываем его адрес.

При добавлении сайта укажите адрес, по которому он доступен: с префиксом www или без него, по протоколу HTTP или HTTPS.

https://www.youtube.com/watch?v=ytdevru

При внесении в Яндекс.Вебмастер ресурс должен отвечать HTTP-кодом 200 ОК. Проверить код ответа можете через этот сервис.

После нажатия на кнопку «Добавить», вам предлагается 4 варианта, как подтвердить права.

Если у сайта есть субдомен, необходимо добавить в сервис основной домен и поддомен отдельно. При этом подтвердить права можно одним кодом.

Все варианты подтверждения прав на управление ресурсом описаны тут.

1. «В очереди» — страница передана роботу для обхода. В течение 3 суток заявка будет обработана.

2. «Робот обошёл» — страница посещена роботом. Данные о странице обновятся в поиске в течение 2 недель.

3. «Ошибка» — робот не смог посетить страницу.

Дневная квота на отправку на индексирование = 140 URL (включая основной домен и все поддомены).Что важно знать?Если нужно отправить на повторное сканирование больше 140 урлов в день, можете отправлять измененные веб-документы на переобход через вкладку «Переобход страниц» на неглавных зеркалах вашего сайта, которые добавлены в панель Яндекс Вебмастер.

Таким образом вы поможете поисковому роботу быстрее найти и просканить измененные документы.

Как быстро проиндексировать новую страницу

Важно! Нижеописанные методы работают только для сайтов, добавленных в Вебмастер, соответствующей поисковой системы.

В Google

Вот что пишет автор этого сервиса Игорь Закревский о его работе.

Как работать с сервисом, указано на его странице.

Игорь говорит, что если у сайта-донора запрещено открытие сайта в iframe (через скрипты или .htaccess), то отправить сообщить поиску о странице не получится(.

Мы больше применяем возможности сервисадля того, чтобы быстро загнать страницу в индекс.

Ознакомиться с принципами работы этого сервиса, его преимуществами, возможностями и тарифными планами можете на официальном сайте.

1. Регистрируемся

https://www.youtube.com/watch?v=ytpolicyandsafetyru

2. Пополняем счет

3. Создаем проект

4. Добавляем URLы

5. Выбираем тариф

6. Сохраняем и мониторим состояние на странице «Проекты».

7. Добавляем сайт в Рамблер

Никак. Потому что с 23 июня 2011 года Рамблер использует поисковые технологии компании Яндекс, дополняемые собственными сервисами, поэтому можно просто добавить ресурс в Яндекс.Вебмастер.

Как это сделать, описано выше.

Как вариант, можете добавить его в тематический каталог популярных ресуров Рамблер ТОП 100 через эту форму.

Сайт получит внешнюю ссылку с трастового ресурса и поисковый бот, перейдя по ссылке в каталоге, просканирует домашнюю страницу и все последующие, по имеющимся ссылкам на других документам, в соответствии с выделенным краулинговым бюджетом для вашего ресурса (временем для краулинга и кол-вом страниц, которые можно скраулить за один обход).

Что Вы можете сказать?

После добавления сайта в панели веб-мастеров, вы можете добавить ссылку на карту сайта с указанием в ней URL-страниц для того, чтобы облегчить нахождение страницы краулеру, их последующему сканированию и внесению в индекс поисковой системы.

https://www.youtube.com/watch?v=ytadvertiseru

Если где-то в интернете появилась внешняя ссылка на страницу вашего ресурса, то робот, со временем, перейдет по ней и просканит страницу, на которую она направляет.

Для ускорения сканирования и индексации можете добавлять анонсы своих статей/другой информации на созданные вами страницы в соцсетях Фейсбук, ВКонтакте, Одноклассники, Google Plus, Яндек.Дзен.

Поделитесь ответами на эти 3 простых вопроса в комментариях ниже.

1. Каким из описанных способом чаще всего добавляете страницы на индексацию?

2. Какие сервисы применяете для ускорения сканирования и индексации?

https://www.youtube.com/watch?v=https:accounts.google.comServiceLogin

Если я что-то упустил в статье, то благодаря Вашим ответам, я дополню ее и она станет еще лучше по этой теме.