Работа поисковых систем Поисковик состоит из:
Spider(Паук) - программа скачивающая веб-страницы подобно браузеру но только он скачивает только html текст (без визуала)
Crawler - осуществляет поиск новых документов, еще неизвестных поисковой системе.
Indexer - База данных - которая хранит данные о веб-страницах
Search Engine Results Engine - Решает какие сайты должны быть первые а какие десятые извлекая из базы данных (результаты поиска)
Думаю общий принцип всем понятен!
