SEO - Боты, Кто Они? Злые Или Добрые ? Ро́бот или бот, а также интернет-бот, www-бот и т.п. (англ. bot, сокр. от англ. robot) — специальная программа, выполняющая автоматически и/или по заданному расписанию, какие-либо действия через те же интерфейсы, что и обычный пользователь. При обсуждении компьютерных программ термин употребляется в основном в применении к Интернету. Обычно боты предназначаются для выполнения работы, однообразной и повторяемой, с максимально возможной скоростью (очевидно, намного выше возможностей человека). Лицо, обслуживающее сервера, может поместить на сервере файл robots.txt(есть такой у нас)), содержащий ограничения, которым обязаны подчиняться боты.
Кроме того, боты находят применения в условиях, где требуется лучшая реакция, чем возможности человека (то есть, игровые боты, боты для интернет-аукционов и т.п.) или, что менее обычно, для имитации действий человека (то есть, боты для чатов и т.п.).
Вредоносное использование Другим, вредоносным проявлением ботов является их использование для координации сетевых атак на компьютеры, например, DDoS- и DoS-атак через ботнет. Интернет-боты могут использоваться для мошенничества типа en:Click fraud. В последнее время стали массовыми боты, используемые в играх жанра MMORPG. Спам-боты используются для распространения по различным ресурсам сети информации (обычно рекламного содержания). Основные вредоносные действия ботов (и ботнетов): - Спам-боты, собирающие адреса E-mail из контактных форм и гостевых книг; - Программы, загружающие интернет-канал потоком ненужной информации (как правило, рекламного характера); - Сайты, собирающие информацию о безвредных сайтах, для использования ее в автоматически создаваемых дорвеях; - Некоторые вирусы и черви; - DoS- и DDoS-атаки; - Ботнеты и компьютеры-зомби.
Поисковый робот Поиско́вый ро́бот («веб-пау́к», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для обхода страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.
Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются поисковыми алгоритмами.
В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.
Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается единственной возможностью указать на его существование.
|