Индексация сайта
Что такое индексация сайта
Индексация сайта - процесс сбора и обработки контента, представленного на сайте, поисковой системой. Индексация сайта подразумевает проверку файлов, открытых для сканирования поисковыми роботами. Это могут быть музыкальные, текстовые файлы, а также фильмы в различных форматах, предназначенных для онлайн-просмотра или скачивания пользователем на ПК.
Занимаются сканированием поисковые роботы (пауки). Они обрабатывают страницы ресурса, присутствующие на них изображения, текст, видео и другую информацию, включая программный код. Чтобы этот процесс прошел быстрее, сайты нужно добавить в панели вебмастеров Яндекс и Google и выставить необходимые настройки.
Страницы, прошедшие сканирование, добавляются в базу данных поисковика. В ней поисковая система ищет результаты, соответствующие запросам пользователей. Индексирование – ключевой нюанс успешной раскрутки сайта. Этим обусловлены следующие факты:
- страницы, не прошедшие индексацию, не показываются в выдаче поисковика, т.к. индексация сайта необходима для его участия в поиске;
- у каждой ПС свой поисковый робот, который добавляет страницы в базу, к примеру, у Google это Googlebot;
- настройка индексации – базовый уровень SEO-оптимизации онлайн-ресурса.
Чтобы веб-сайт удачно прошел индексирование, в первую очередь, нужно проверить открыт ли этот ресурс для захода поискового бота. Для этого обязательно должен быть файл под именем robots.txt. Он есть по умолчанию во многих CMS, однако проверить факт нахождения этого файла нужно обязательно. В нем должны быть прописаны правила, разрешающие вход робота и, при необходимости, запрещающие сканирование отдельных страниц:
User-agent: *
Disallow: …
Для быстрой проверки индексации следует в поисковой строке браузера написать команду site:[адрес страницы]. Это инициирует поиск всех страниц указанного сайта, прошедших индексацию.
