Индексация сайта

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

Одной из главной составляющей человеческой деятельности является поиск информации. В сети каждый день появляется и исчезает бесконечное множество сайтов. Для эффективной работы в сети нужно уметь ориентироваться в них. Для осуществления эффективного поиск, нужны определенные навыки в составлении запроса к поисковой системе. Когда при поиске ответа пользователь обращается к каталогу, то особых сложностей при работе здесь нет. Создатели каталога и модераторы разделили каталог на разделы. Пользователю только нужно определиться с предметом поиска и затем воспользоваться структурой, которая будет ему предложена.[2]

Актуальность индексации сайта состоит в том, что поскольку распознавание поисковиком – решающий фактор для большинства в сетевом бизнесе, владельцы веб-сайтов должны быть уверены в том, что их серверы функционируют ежедневно и круглосуточно.

Поисковый робот может посетить сайт в любой момент. Если бот, в результате запроса страницы с сервера, получает отказ по какой-либо причине, то эта страница может не появиться в индексе (базе данных) поисковика, пока бот не посетит этот сайт снова.[5]

Объектом исследования является поисковая система.

Предметом исследования является процесс индексации сайта.

Исходя из этого, необходимо решить следующие задачи:

- рассмотреть процесс индексации сайта;

- рассмотреть способы запрета индексации сайта;

- рассмотреть способы ускорения индексации сайта;

- рассмотреть способы проверки индексации сайта.

1. Возникновение поисковой системы

В процессе увеличения объема информации в интернете, встает вопрос об эффективном и быстром поиске необходимых данных. Вначале данную функцию выполняли веб-каталоги, которые были упорядоченны по тематике ссылок. Они составлялись вручную, что подталкивало к привлечению в качестве модераторов добровольцев. Так как от качества и количества представленных в каталоге сайтов зависела его популярность. Со временем был разработан более эффективный способ поиска информации - при помощи поисковых систем.[1]

Интернет является гипертекстовой средой, где все страницы и документы связываются между собой ссылками. Если сайт есть, то это значит, что на него должна вести хотя бы одна ссылка. Следовательно, при переходе по ссылкам от одного сайта к другому вся информация сохраняется в базе данных, которая находится в интернете. Так и работают поисковые машины.[1]

Специальные программы, а именно поисковые роботы, находят сайты и передают их на обработку. На начальном этапе создания поисковых машин списки индексации составляли вручную, для облегчения роботам процесса нахождения всех значимых сайтов. Со временем это перестало быть необходимым. В идеале, переходя по ссылкам, можно найти все документы. Но на практике так не получается. В связи с тем, что быстро меняется содержание сети, стало не реально отслеживать все изменения в режиме реального времени. Поэтому базы данных даже самых крупных поисковых систем могут охватить максимум половину информации, которая представлена в сети.[6]