Как заблокировать ботов на сайте своими силами и с помощью Cloudflare

Что такое роботы в контексте веба

Роботы (их еще называют ботами) представляют собой некий комплект программ, алгоритмов, заточенных под определенные цели. Для их достижения боты, посещая онлайн-проекты, собирают различные сведения для последующего анализа.

Армию роботов условно делят на «хороших», «плохих». Все зависит от потребностей владельцев платформ: одни могут приветствовать индексацию на Yandex, другим она мешает. Есть варианты, которые неприемлемы для всех:

• распространение вирусных программ;
• спровоцированный скачок трафика;
• мошенничество посредством кликов.

В этом случае блокировать ботов на сайте необходимо.

Как определить, что сайт посещают боты

Помимо нетипичного поведения пользователей на сайте, необъяснимого скачка посещаемости, трафика из нетипичных для проекта регионов, визиты «гостей» помогут обнаружить несколько способов:

• С помощью Яндекс.Метрики определяют, сколько было посещений проекта, в том числе без учета нежелательных визитеров. Анализируя показатели ежедневно, приходит понимание, в какой конкретно период ресурс пользуется у них спросом.
• Содержащийся в Метрике «Вебвизор» позволит ознакомиться с действиями пользователей на страницах веб-площадки.
• Проведение логического анализа статистических данных. Если на ресурсе наблюдается немотивированный скачок трафика — это повод найти источник, поставляющий нежданных «гостей». Необходимо отследить, проанализировать тип переходов, если основная часть — прямые, возможно, речь идет о нашествии роботов.

Данных визитеров определить несложно: они часто бездействуют, интересуются мало интересным обычным людям контентом, скроллят со скоростью, неприемлемой для чтения. Лучший способ обезопаситься от неприятностей — заблокировать их.

Какие боты считаются легитимными

Легитимные — «хорошие» боты, действующие во благо сайта. Они заходят на веб-площадку в целях поисковой оптимизации, получения определенных сведений, аналитики.

Не рекомендуется хороших ботов блокировать на сайте, это может уменьшить видимость проекта в поисковиках, других платформах. К блокировке обращаются только для достижения определенных бизнес-целей.

Отличают несколько типов легитимных роботов:

• мониторинговые (типа Pingdom);
• для проверки бэклинков;
• для соцсетей;
• фидфетчеры;
• партнерские;
• сканеры поисковиков.

Как блокировать «вредных» ботов

Если от провайдера пришло уведомление, что превышен выделенный объем процессорного времени — самое время начать блокировать боты на сайте. Это приведет к уменьшению нагрузки на сервер. Не следует банить всех подряд, под «раздачу» могут попасть user-агенты, являющиеся реальными людьми.

Через Apache и .htaccess

Блокировать подобным образом удобно — боты, сканеры часто не обращают внимание на директивы robots.txt. Применение файла сервера Апач .htaccess — универсальный метод защиты от спама. Он должен находиться в корневой папке ресурса на сервере с указанием «универсальный блокировщик спам-ботов».

Существует нюанс при применении данного способа: большой объем записей спровоцирует замедление работы портала.

Через Nginx

Чтобы сделать блокировку через Nginx, используются следующие способы:

• По user agent — происходит бан визитеров, имеющих в заголовке запроса строчку, подпадающую под условия фильтрации.
• По IP. Блокируется определенный или несколько хостов.
• Referer. Метод помогает перекрыть трафик с нежелательного источника.

Через robots.txt

Это несложный текстовый файл, содержащий инструкцию для поисковиков — что разрешается, что запрещается. Таким способом, в целях уменьшения нагрузки может ограничиваться индексирование некоторых страничек сайта. Но существует условие: робот не должен игнорировать правила, содержащиеся в файле.

Необходимо отслеживать, какие страницы закрываются для данных программ. Непродуманное закрытие может спровоцировать ошибки индексации.

Блокировка по IP

Блокировать по IP имеет смысл, когда с него посылается большое количество запросов. Однако, иногда это не решит проблемы — в запасе у «плохих парней» много адресов. При попадании в бан одного программа быстро переключается на следующий адрес.

Защита от ботов с помощью Cloudflare

Эту программу используют в качестве защиты многие проекты. Причиной тому ряд достоинств:

• помогает снизить нагрузку на ресурс, кэшируя у себя изображения;
• дает защиту от DDoS-атак;
• при определенной настройке распространяет защиту на роботов, не поддерживающих HTTP2;
• все вышеназванные пункты включаются в бесплатный тариф.

Минусов два:

• не защищает от накрутки имитации пользовательской деятельности;
• временами может «прилетать» бан IP от РКН.

Программа сравнима с условным барьером, пропускающим реальных пользователей и полезных ресурсу поисковиков, но преграждающим путь остальным роботам, мошенникам.

Для установки Cloudflare необходима учетная запись, после оформления необходимо получить адреса серверов. Их нужно, скопировав, вставить в строки DNS-настроек домена ресурса. Сутки спустя весь поток посетителей будет проходить отбор через эту программу.

Заключение

Излишний интерес к веб-проекту не всегда идет на пользу, отражается на его работоспособности, скорости. Поэтому не рекомендуем стесняться отправлять в бан особых наглецов. В статье мы поделились базовыми сведениями о некоторых способах блокировки, надеемся, что это поможет начать выстраивать взаимодействие с различными типами ботов.

Автор: Макхост