Індексація сторінок WEB-сайтів

Івано-Франківський Національний Технічний Університет Нафти і Газу

Кафедра комп’ютерних систем і мереж

ЛАБОРАТОРНА РОБОТА №1

з дисципліни SEO оптимізація WEB-сайту

Тема: Індексація сторінок WEB-сайтів

Виконав:

ст. гр. ___________ ()

                                        (підпис)

Перевірив:

доц. ___________ (Бабчук С.М.)

                (підпис)

м. Івано-Франківськ

2023

Мета: навчитись визначати сторінки WEB-сайтів які проіндексовані пошуковою системою Google, а також навчитись отримувати частотні таблиці та визначати частоту зустрічаємості слів на даних сторінках WEB-сайтів.

Теоретичні відомості

Індексація сайту – це процес збирання інформації пошуковою системою про вміст вашого сайту. Під час індексації пошукові роботи (павуки) сканують та обробляють web сторінки, зображення, відео та інші доступні для сканування файли. Щоб пошукова система швидко проіндексувала сайт потрібно створити карту сайту та додати її до Google Search Console.

Сайт повинен бути проіндексований щоб відображатися у пошуку.

Сторінки, які пройшли сканування та обробку, зберігаються у базі даних. Така база називається "пошуковий індекс". Саме в цій базі даних пошукова система шукає результати, що відповідають на запити користувачів.

Важливо розуміти:

• якщо сторінки немає в пошуковому індексі, її неможливо знайти в пошуковій системі;
• індексація потрібна, щоб брати участь у пошуку;
• кожна пошукова система має свій пошуковий індекс, свої пошукові боти.
• пошуковий бот від Google називається Googlebot;
• налаштування індексації сайту, це базовий рівень робіт із SEO.

Процес індексації сайту

З технічної точки зору "індексацію сайту" правильніше розглядати як два окремі

процеси:

• сканування сторінок;
• обробка сторінок.

Сканування сторінок

Сканування або "обхід" сторінок - це основне завдання, яке виконує пошуковий бот. Потрапляючи на нову сторінку, бот отримує зі сторінки два набори даних:

• зміст самої сторінки, інформацію про сервер та службові дані. А саме: відповідь
• сервера, html код сторінки, файли CSS стилів, скриптів, зображень;
• перелік посилань на сторінці.

Отримана інформація передається для подальшої обробки та збереження до бази. Проскановані посилання також зберігаються в спеціальний список - "черга сканування", для подальшої обробки.

Коли бот додає в чергу індексації сторінку, яка вже є в черзі, ця сторінка займає вищу позицію в списку і індексується швидше. А це означає, що перший спосіб прискорити сканування сайту – збільшити кількість посилань на потрібні сторінки.

Створюючи чергу сканування, google bot, як і інші пошукові роботи, вивчає карту сайту sitemap і додає в чергу посилання з цієї карти. Другий спосіб покращити індексацію – створити карту сайту sitemap.xml та повідомити про неї пошукову систему. Карта сайту – найпростіший спосіб відправити на індексацію усі сторінки в рамках нашого домену.

Є кілька способів створити карту сайту:

• безкоштовний онлайн інструмент для сайтів до 500 сторінок www.xml-sitemaps.com;
• програма для сканування сайту, з можливістю створення sitemap - xenu links;
• бібліотека різних програм для створення sitemap;
• найпопулярніший плагін для створення карти сайту для WordPress.

Щоб Google дізнався про ваш sitemap, потрібно додати посилання на карту сайту в інструментах search console або файлі robots.txt

Чинники від яких залежить індексація сайту:

• доступність сайту для індексації – якщо сканування сайту заборонено, пошукова система не зможе отримати його сторінки;
• кількість посилань на ваш сайт – посилання, це шляхи, які приводять пошукових роботів до вас на сайт. Чим більше посилань з популярних ресурсів ви отримуєте, тим частіше скануватимуться сторінки вашого сайту;
• частота поновлення сайту. Пошукові системи завжди шукають новий цікавий  контент, чим частіше ви публікуєте новий унікальний зміст, тим швидше пошукова система його скануватиме.
• наявність сайту в інструментах пошукових систем (наприклад, у Google Search Console). Отже:

Індексація – це процес сканування та обробки вмісту для зберігання у базі даних пошукової системи.

Прискорити індексацію можна за допомогою посилань, карти сайту та налаштувань сервера. Щоб пошукова система розуміла ваші сторінки, всі ресурси вашого сайту мають бути доступні пошуковому роботу.

Завдання

1. За допомогою ресурсу www.xml-sitemaps.com створити карту сайту.

2. За допомогою команди site визначити скільки сторінок сайту проіндексовано в пошуковій системі Google.