21:50 Пошуковий робот | |
| Пошуковий робот («веб-павук», краулер) — програма, що є складовою частиною пошукової системи і призначена для перебору сторінок Інтернету з метою занесення інформації про них в базу даних пошукової системи. За принципом дії павук нагадує звичайний браузер. Він аналізує вміст сторінки, зберігає його в деякому спеціальному вигляді на сервері пошукової машини, якій належить, і відправляється по посиланнях на наступні сторінки. Власники пошукових машин нерідко обмежують глибину проникнення павука всередину сайту і максимальний розмір сканованого тексту, тому надто великі сайти можуть виявитися не повністю проиндексированными пошуковою машиною. Крім звичайних павуків, існують так звані «дятли» — роботи, які «простукують» проіндексований сайт, щоб визначити, що він доступний. Порядок обходу сторінок, частота візитів, захист від зациклення, а також критерії виділення значущої інформації визначаються алгоритмами інформаційного пошуку. У більшості випадків перехід від однієї сторінки до іншої здійснюється за посиланнями, що містяться на першій і наступних сторінках. Також багато пошукові системи надають користувачеві можливість самостійно додати сайт у чергу для індексування. Зазвичай це істотно прискорює індексування сайту, а у випадках, коли ніякі зовнішні посилання не ведуть на сайт, взагалі виявляється практично єдиною можливістю вказати на його існування. Ще одним способом швидкої індексації сайту є додавання на сайт систем веб-аналітики, що належать пошукових сервісів. Наприклад, таких як Google Analytics, Яндекс.Метрика і Рейтинг@Mail.ru від Google, Яндекса і Mail.Ru відповідно. Обмежити індексацію сайту можна за допомогою файлу robots.txt. Повна захист від індексації може бути забезпечена іншими механізмами, наприклад установкою пароля на сторінці або вимогою заповнити реєстраційну форму перед тим, як отримати доступ до вмісту. | |
|
| |
| Всего комментариев: 0 | |
