Помочь пользователю найти нужную информацию в Сети призваны поисковые системы. В поиске нужных ресурсов пользователь вводит одно или несколько ключевых слов, которые, по его мнению, лучше всего отражают суть интересующего вопроса. Поисковая система за считанные секунды просматривает весь собственный каталог веб-ресурсов (индекс), состоящий из десятков и сотен гигабайт информации. В результате предлагается список ссылок на страницы, в которых встречаются указанные слова.
Любой поисковый сервер представляет собой огромное хранилище информации. Собирают эту информацию специальные роботы - так называемые Spiders (пауки) или Bots. Они ползают по узлам всемирной паутины и собирают данные о сайтах – индексируют их. Периодически робот возвращается на свой сервер и отдает ему собранную информацию. Там эта информация приводится в надлежащий вид, заносится в специальную базу данных и после этого может быть найдена пользователем поисковых сайтов. По некоторым данным, поисковые сервера могут дать Вам от 30% до 60% суммарного трафика веб-сайта.