Кто ведет ботов

На сайте «Новой» установлен счетчик от Mail.ru — ​благодаря ему мы отслеживаем динамику посещения страниц. Статистика отображается в разделе «СМИ/Газеты», где по числу уникальных пользователей мы находимся где-то между «Известиями» и «Независимой газетой». Рядом с нами в списке — ​«общественно-политическое издание «Подробности» (podrobnosti.biz/), у которого нет ни одной публикации — ​это пустая страница. Заглушка на сайте уже в течение нескольких месяцев гласит: «Приветствуем! Сайт только что создан». Тем не менее счетчики регистрируют у «издания» десятки тысяч уникальных посетителей ежедневно. Мы обратились к администрации Mail.ru с вопросом: «Каким образом у пустой страницы может фиксироваться такой трафик?» «Этот счетчик используется на сайте https://inforeactor.ru, у которого есть собственный счетчик. Мы снимаем с рейтинга этот дополнительный счетчик, согласно пункту правил», — ​ответили «Новой». Через несколько часов «Подробности» были удалены из рейтинга. Архив интернета показывает, что вплоть до 2014 года «Подробности» были севастопольским новостным сайтом. В 2015 году под тем же доменным именем появились другие «Подробности» — ​работающие из Санкт-Петербурга под руководством Романа Кемеренко. В 2016 году сайт перебрасывал своих посетителей на проект «Инфореактор», существующий до сих пор. Кемеренко прежде сотрудничал с «Инфореактором», а сам этот сайт упоминался в недавнем расследовании РБК о том, что происходит в «рассаднике прокремлевских троллей» Ольгино. «Инфореактор» входит в «фабрику медиа», ассоциированную с небезызвестным «кремлевским поваром», миллиардером Евгением Пригожиным, — ​конгломерат сайтов с общей аудиторией в 36 млн посетителей в месяц. Так благодаря искусственной генерации трафика (ботов) в рейтингах популярных российских СМИ появляются откровенные фейки. Мы решили разобраться в том, как появляются цифры вроде тех, что до запроса «Новой газеты» показывал счетчик «Подробностей».Отдел политики Рейтинг сайтов газет по счетчику Mail.ru«Светлая сторона рынка» — «Новая» уже наняла вам охрану? Это рынок с большими деньгами. Мало кто хочет писать о фродовом (мошенническом. — ​Ред.) трафике, — ​такими словами встречает меня собеседник, которого я с трудом уговорила побеседовать на тему бот-трафика в российских медиа. Окраина Москвы. Я сажусь к нему в машину. Говорить участник рынка согласен только на условиях анонимности. Кроме ботов-программ существует еще «мусорный трафик» — ​случайные переходы пользователей, оказавшихся на сайте СМИ, например, через ссылку на порносайте. Но мой собеседник утверждает, что его компания находится на «светлой стороне рынка»: работает только с живым трафиком. Рассказать о том, как накручивается трафик, его побудила борьба с нечестными конкурентами и нежелание заниматься «продажей воздуха». Схема бизнеса на ботах для человека, который вдруг решил в нем разобраться, выглядит сюрреалистично. Мне объясняют на рисунке, как все работает. Вот в СМИ приходит живой трафик — ​реальные посетители. Это пользователи поисковых систем, соцсетей, новостных агрегаторов — ​и где-то рядом находятся боты, имитирующие поведение людей в интернете. В нормальной ситуации на вашем сайте может присутствовать около 5–10% ботового трафика: ботам нужно мимикрировать под живой трафик. Если их количество превышает 10%, говорят мне представители «светлой стороны», значит, их покупают недобросовестные трафик-менеджеры или боты приходят в СМИ из обменных сетей. Чтобы увеличить свой рейтинг, некоторые СМИ используют партнерские системы обмена — ​устанавливают на сайт тизерный блок (ссылка, которая должна привлекать внимание пользователя — ​вроде «Шок! Что случилось с Филиппом Киркоровым»). Кликая на него, пользователь переходит на обменные сайты, например, такие как СМИ2, Lentainform, Infox.sg, 24СМИ, Directadvert и другие. Прямой обмен пользователями между СМИ не так выгоден, обменные сети предоставляют эффективные технологии, за счет которых можно привлечь внимание к контенту и увеличить аудиторию. «Обменные сети обещают возвращать на СМИ новых пользователей с коэффициентом 1,2–1,5, объясняя это тем, что трафик умножается на промежуточной странице обменки, — ​продолжают анонимные эксперты. — ​На самом деле мы знаем, что никакая промежуточная страница не позволяет вернуть более 100%. И чтобы компенсировать разницу, обменные сети сами закупают трафик и направляют на сайты СМИ. Если СМИ не следят за его качеством, то вместо реальных пользователей им возвращают ботов». Так называемые CPA-сети (Cost Per Action, плата за действие) — ​это системы-посредники, которые предлагают рекламодателям оплачивать только целевые действия пользователей. Обменные сети, работающие с CPA, отправляют часть живых людей в воронку тизерных заголовков, похожих на журналистские материалы, но на самом деле ими не являющихся. «CPA-сети продают этих пользователей на страницы, обвешанные рекламой БАДов, порнотоваров и микрокредитов», — ​объясняют мои собеседники. Так пользователя последовательно ведут к нужному целевому действию. Эксперты предлагают это легко проверить. Если перейти по тизерам обменной сети на промежуточную страницу и кликнуть на ней по новым тизерным блокам, то на экране может открыться даже поддельный сайт Минздрава с фейковыми «отзывами о лекарствах» и «советами». Мы проверяем конкретный сайт — ​все верно. При клике на тизер страница автоматически открывается в новом окне. Текст «новости» прочитать невозможно — ​пользователь снова должен кликнуть на «Читать подробнее». В новой вкладке открывается текст в окружении рекламы о грибке, похудении народными средствами и омоложении. «Покупая у обменок пользователя по 2–3 рубля, CPA-сети продают его разным БАДам за 5–10 рублей. Оборот CPA-сетей составляет до полумиллиарда рублей в месяц. Это очень высокорентабельный бизнес, — ​утверждает эксперт. — ​Заставить некачественные обменки делиться своими заработками со СМИ сложно. Их аргумент: мы же возвращаем вам больше, с коэффициентом, накручиваем вам рейтинг, помогаем отстраиваться от конкурентов, выполняем сложные трафиковые задачи, а у вас есть медийная реклама — ​монетизируйтесь сами. Но в реальности объем денег несопоставим, и ответа на вопрос, почему производители дорогого контента до сих пор соглашаются с этой деформацией рынка, нет».Чем опасен ботовый трафик Без покупки ботового трафика сегодня «практически невозможно сделать экономику медиапроекта и поднять рейтинг», на который смотрят рекламодатели, — ​уверен эксперт «светлой стороны». По его словам, рекламные бюджеты сегодня перетекают из традиционной рекламы в контекстную, из-за чего «медиа потеряли практически всех крупных рекламодателей, которых не устраивает эффективность их рекламы в СМИ». В этом они винят рекламодателей, которые предъявляют завышенные показатели для медийной рекламы, и конкурентов из числа самих СМИ, которые всеми возможными способами пытаются продемонстрировать эти показатели, чтобы не потерять бюджеты прямых рекламодателей: «Погоня за уезжающим поездом привела к тому, что накрутка рекламы и трафика стала в СМИ нормой». Алексей Аметов, издатель Look At Media, считает лукавством утверждение, что все рекламодатели уходят в контекстную рекламу: «Для многих брендов критически важно инвестировать в имиджевую рекламу, и, более того, наличие имиджевой рекламы улучшает результаты в контексте. Это подтверждает и статистика — ​контекстная реклама растет быстрее, но медийка тоже пока растет, а не падает». С другой стороны, он уверен, что все участники рынка внимательнее относятся к выбору площадок и отслеживанию KPI. Поэтому и СМИ можно и нужно следить за трафиком. Аметов говорит, что за последние годы ситуация начала улучшаться, крупные издания стали отказываться от таких методов. Но менее разборчивые проекты работают по-старому: «Серые схемы продолжают использовать, чтобы откровенно мошенничать с рекламой. Это проблема «мусорного трафика» из живых пользователей, которых за счет тизеров из громких заголовков гоняют по разным группам сайтов — ​для открутки показов рекламы или для отчетности перед инвесторами». Маргинальные «трешевые» издания уровня фейк-ньюз нагоняют трафик и монетизируют его через автоматичекие продажи, в частности, сетей «Гугла» и «Яндекса», а не через прямые продажи рекламы. Новая медийная империя в Ольгине, о которой написал РБК, — ​показательный пример, уверен Аметов: «Простых доверчивых людей с низким критическим мышлением вовлекают в аттракцион громких заголовков и «крутят» на нем, пока их не укачает». Борис Омельницкий, директор по развитию AdFox, компании, входящей в структуру «Яндекса», не видит проблемы в том, что рекламодатели сегодня меньше заинтересованы в медийной рекламе. «80% российской интернет-рекламы закупается по моделям оплаты за результат, то есть перформанс-рекламы. Оставшиеся 20% — ​покупают показы». Омельницкий уверен: если сама площадка хочет показать трафик, которого на самом деле нет, это сработает только один раз, так как существует достаточно метрик, показывающих качество размещений на любых сайтах. «Рекламодатели имеют достаточно инструментов, чтобы защитить эффективность вложений в рекламу. В интернете все очень прозрачно», — ​заключает он. «Серый трафик» может быть нужен медиа в двух целях: чтобы обманывать рекламодателя или чтобы рассказать о своей влиятельности, — ​считает Антонина Самсонова, CEO и основатель TheQuestion. «Если вы государственное медиа и вам надо отчитываться о том, что ваш контент кто-то читает в интернете, чтобы получить очередной госзаказ, тогда, возможно, вы накручиваете цифры просмотров, такие случаи были. На конкурентном негосударственном рынке существуют стандарты, по которым заказчики оценивают объем аудитории площадки. В России принято ссылаться на «Яндекс.Метрику» или Google Analytics, их репутации можно доверять». По мнению Самсоновой, рекламодатели и рекламные агентства тратят собственные деньги или деньги клиентов, а не государственные средства на продвижение в сети, и потому в первую очередь заинтересованы, чтобы оценка была объективная. «На мой взгляд, проблема ботов не является системообразующей. Возможно, кто-то кого-то при помощи ботов обманывает. Но объем сделок, в которых используется эта технология, настолько незначителен по сравнению с объемом рекламного рынка, что можно сказать: те клиенты, которые не проверяют и не анализируют качество трафика и возврат от инвестиций в рекламу, — ​просто очень странные люди».Битва с ботами Возможность передачи ботов через обменные сети подтвердили «Новой газете» в проекте «Кракен Антибот». Виктор, специалист по анализу трафика, пояснил, что схема уже давно ни для кого не является секретом: «Вы отдаете живых пользователей, а вам приходит такое же количество бот-трафика под видом живых. Полгода назад один крупный портал попросил нас проверить их трафик. Процент бот-трафика оказался небольшим, так как посещаемость портала сама по себе была приличной. Но в том бот-трафике были переходы из 90% всех популярных трафикообменных сетей Рунета». Что это за ресурс, Виктор рассказывать отказался. Такая схема, как оказалось, никого из интернет-экспертов тоже не удивляет. О том, что некоторые обменные сети вышли из доверия и подозреваются в генерации бот-трафика, было известно каждому, кто согласился комментировать тему. «Мы изначально отказались от партнерских блоков, потому что мы хотим быть уверены в том, что наши посетители настоящие, — ​рассказал Иван Засурский, заведующий кафедрой новых медиа и теории коммуникации факультета журналистики МГУ им. М.В. Ломоносова. — ​Я доверяю своей посещаемости, у меня трафик органический, и мои издания «Частный корреспондент» и «Научный корреспондент» не участвуют ни в каких системах обмена трафика. Чтобы самих себя не обманывать. Пусть посетителей сто тысяч в месяц, зато они реальные. Обменные сети дают трафик, но они и создают риск». Риски при использовании обменных сетей также подтвердил Алексей Аметов: «Тут важно понимать, что если издатель пытается за три копейки увеличить аудиторию своего сайта, то он получает ботов или людей, которые вообще никак не могут быть аудиторией его СМИ». В то же время Аметов отметил, что если издатель меняется с другими СМИ промоблоками и делает это вдумчиво и адекватно, то проблем нет. Антон Меркуров, интернет-эксперт, также согласен, что накрутка с помощью некачественного трафика действует на рынке среди прочих технологий: «Процент накрученной рекламы всегда есть. Многие не самые качественные СМИ их используют. И ботовый трафик все равно иногда покупают». Для накрутки трафика сайты используют обменки, подкручивают ботов, чтобы показать кому-то какую-то мнимую статистику. Меркуров советует пользоваться Google Analytics, чтобы разобраться в качестве трафика. «Редакция СМИ на самом деле не всегда влияет на трафик и имеет к нему отношение. Этим занимаются трафик-менеджеры, как правило, — ​люди со стороны. К ним и должны быть претензии». Об обменных сетях Меркуров также отозвался скептически: «Обменки — ​не самые красивые рекламные инструменты. Там есть риск накрутки ботами».«Рынок очищается» Мы обратились за комментариями к крупнейшему игроку на рынке — ​СМИ2, включающему в себя обменную сеть и агрегатор новостей. Гендиректор компании Анна Иванова утверждает, что для СМИ2 ботовый трафик также представляет серьезную проблему: «Вся наша модель продаж завязана на действиях, для нас важен живой трафик. Именно поэтому около четырех лет назад мы начали писать собственную систему «Антибот». По словам Ивановой, год назад СМИ2 разработало собственные процедуры для анализа поведения пользователей, потому что поведение ботов становится все больше похожим на человеческое. «Огромная часть заработанных денег уходит на подобные разработки, то есть борьбу с ботовым трафиком. Мы единственные среди обменных сетей, у кого есть система «Антибот», которую мы постоянно совершенствуем именно для того, чтобы отлавливать накрутчиков и сообщать об этом нашим партнерам», — ​поясняет Иванова. Она называет СМИ2 официальным агрегатором и подчеркивает, что он входит в список Роскомнадзора, то есть компания раскрывает статистику, а значит, «не участвует ни в каких накрутках». Сам бизнес обменной сети Иванова называет тяжелым и в какой-то степени неблагодарным, при условии, если играть честно: «Монетизировать и зарабатывать возможно, только когда у тебя огромный объем трафика. До этого момента нужно все время инвестировать в ресурс или иметь крупного партнера, который будет помогать выйти на нужный уровень, когда ты сможешь отдавать живой трафик и экспериментировать с контентом. У нас этот процесс занял около двух лет, но теперь мы зарабатываем». Иванова соглашается с тем, что на рынке действительно много недобросовестных игроков среди обменных и тизерных сетей: «Если трафик монетизирован, то начинаются танцы с бубнами — ​отдавать партнерам нечем, и в ход идут разнообразные методы накрутки. Причем это не обязательно боты. Это могут быть и фреймы (одна интернет-страница встраивается во фрагмент другой страницы), перезагрузка дважды одной страницы». С другой стороны, в СМИ2 не считают, что проблема ботов стоит слишком уж остро. Как и другие участники рынка и эксперты, Анна Иванова поинтересовалась, не заказал ли «Новой» кто-нибудь этот текст. И отметила, что ботовый трафик осложнял жизнь участникам рынка несколько лет назад, но сейчас писать об этом, возможно, уже поздно.Ботоводы и ботоловы Следующим шагом было найти экспертов на рынке ботоводов и ботоловов. Нам повезло найти такого эксперта в одном лице. Ботоловы смотрят в первую очередь, с какого IP-адреса или с какого обменника заходил бот. Бот может представиться сайту девушкой, которая ищет губную помаду, или мужчиной в поисках автомобиля. При этом боты работают на особом ПО. «Если по определенному протоколу «постучаться» к этой программе и спросить ее: «Ты бот?» — ​она ответит положительно. А если не бот — ​промолчит, — ​объясняют ловцы ботов. — ​Также у нас двойная верификация: сначала мы сканируем ботов, а потом просто выкупаем одного и заставляем выполнить определенные задачи. Таким образом, всегда можно доказать, что это действительно бот». Существует три вида ботов: неуправляемые — ​им дается адрес, и они могут просто зайти на страницу; управляемые — ​со сценарием: зашел на страницу, кликнул, заполнил форму, зарегистрировался; и мотивированные трафики, в рамках которых живые пользователи, которые что-то получают взамен, совершают действия по типу неуправляемых или управляемых ботов. Выявить всех ботов в своем трафике СМИ самостоятельно не смогут, уверены ловцы ботов, которые зарабатывают на этом. Мастерство ботовода позволяет подделать даже поведенческий показатель, как микроподергивания мышкой и историю посещения страниц в сети. «Наши специалисты способны так «причесать» бота, что «Яндексом» из 100% ботового трафика будет распознано лишь 5%», — ​хвастается ботовод. Уже во время подготовки текста к печати нам поступило предложение от СМИ2 раскрыть трафик сети: «Приезжайте в любой момент в гости, у нас нет ни фрода, ни ботов. Скрывать нам нечего». В целом о ботах в СМИ эксперты отчего-то говорят очень неохотно. Топ