Новости CS2 в Telegram: бот, который собирает ленту

Начал я с формулировки самой идеи. Без архитектуры, схем баз данных и прочих слов, которыми разработчики обычно пугают гуманитариев. Просто объяснил нейросети, что хочу собирать новости о профессиональном Counter-Strike и получать их в телеге, но без повторов. Ни слова о том, как именно все это должно быть устроено изнутри.

Здесь важно пояснить, что я подразумевал под повтором. Если два сайта опубликовали одну и ту же ссылку, распознать совпадение несложно. А вот если один пишет «Команда объявила новый состав», а второй — «Такой-то игрок присоединился к команде», и оба текста посвящены одному и тому же трансферу, то формально это разные статьи. Для меня же это одна новость. Собственно, ради решения именно этой проблемы все и затевалось.

хочу сделать бота в телеграм, который будет парсить новости по контр-страйк (профессиональй сцене соревновательной) и присылать мне их в телегу. Важно не присылать одну и ту же новость из разных источников - нужно присылать из первого, а дубли не присылать - то есть алгоритм должен понимать, что дубль, а что нет

Первую версию нейронка собрала довольно быстро. Программа научилась обращаться к сайту, находить публикации, запоминать то, что уже видела, и пересылать их мне в Telegram. Правда, поначалу все это работало лишь с одним ресурсом. С точки зрения разработки такой подход совершенно разумный: сначала убедиться, что вся цепочка в принципе работает, и только потом усложнять конструкцию. Но когда видишь первые результаты, тут же начинает казаться, что можно еще немного улучшить, а потом еще немного — и вот ты уже придумал следующую десятку задач.

Меня довольно быстро перестал устраивать вариант с одним изданием. Ведь если вся задумка заключалась в том, чтобы не ходить по разным сайтам, какой смысл ограничиваться одним из них? Я попросил подключить другие медиа, причем не только английские, но и русскоязычные, поскольку материалы на разных языках нередко пересказывают одно и то же, а мне как раз и хотелось собрать их в общую ленту.

Потом появилась следующая мысль. А почему, собственно, ориентироваться исключительно на журналистов? Команды сами публикуют анонсы, изменения составов и прочие новости на своих сайтах и в соцсетях. Иногда первоисточник вообще интереснее перепечаток. Поэтому я предложил добавить официальные площадки команд из топа HLTV — ориентировочно первых пятидесяти.

В результате в настройках оказалось 15 медиа и отдельный список из 54 ресурсов команд. Выглядело уже довольно солидно, особенно если помнить, что еще недавно никакого агрегатора не было. Но тут обнаружилась первая важная для меня разница между «добавили в проект» и «получили работающий результат». То, что адрес внесен в конфигурацию, еще не значит, что сайт разрешает забирать с него публикации, что данные правильно считываются и что сообщения вообще будут приходить. На тот момент у меня был многообещающий перечень площадок и код для их обработки, но никак не тщательно проверенная новостная редакция.

будет кайфово еще добавить русскоязычные источники, а также сами команды и их сайты и соцсети как источники, например, топ-50 команд рейтинга хлтв - если сможем тащить новости от них по общим правилам

Если будете повторять такой эксперимент, я бы советовал с самого начала отдельно проговорить логику повторов. Не просто написать «не присылай дубли», а объяснить на примерах, что именно считать одним событием. Ссылка, заголовок и смысл материала — три разные вещи. Причем чем больше изданий вы подключаете, тем заметнее становится разница между ними.

Следующим этапом нужно было все это запустить и посмотреть, как новостник поведет себя не в отчетах кодекса, а в моей собственной телеге. И тут внезапно выяснилось, что даже создание простого бота подразумевает определенное количество действий, которые для человека без опыта программирования совсем не очевидны.

Я сразу попросил объяснять мне все пошагово: говоришь, что сделать, я делаю, показываю результат, и только после этого переходим дальше. Такой формат мне был нужен не из любви к подробным инструкциям. Когда человек, разбирающийся в коде, выдает десять команд подряд, он обычно пропускает половину промежуточных вопросов как само собой разумеющиеся. А у меня эти вопросы, наоборот, и составляли основную часть процесса.

С BotFather, через которого создают ботов для Telegram, все прошло более-менее гладко. А потом ИИшка предложила открыть PowerShell. На этом месте я буквально написал: «стоп, я чайник, какой еще повершелл». Пришлось перестраивать объяснения под мой уровень понимания. Где-то помощник делал настройку сам, где-то я присылал скриншоты, чтобы он видел ту же картину, что и я. Постепенно мы прошли эти первые технические препятствия.

окей давай поднимем бота дл тестлокально, дай мне пошаговую инструкцию что делать. шаг - ждешь от меня результат - и только потом следующий шаг

И вот в телеге появляется тестовое сообщение. Ничего особенного: короткая фраза о том, что отправка работает, и ссылка для примера. Но именно в этот момент вся затея перестала быть абстрактным разговором с нейросетью. Программа действительно написала мне в чат, и я, конечно, обрадовался.

Правда, довольно быстро пришлось напомнить себе, что радоваться пока рано. Отправить пробное сообщение и собрать нормальную новостную ленту — разные задачи. Я еще не знал, насколько актуальными будут публикации, умеет ли парсер правильно доставать их содержимое и что он сделает с двумя статьями об одном событии. То есть канал связи заработал. Сам продукт еще предстояло проверить.

Когда основная лента начала подавать признаки жизни, мне захотелось добавить еще одну удобную штуку — ежедневную сводку. Представьте, что за день произошло полтора десятка событий: несколько матчей, пара трансферов, очередные анонсы турниров. В течение дня публикации еще можно просматривать по мере поступления, но иногда хочется вечером открыть одно сообщение, за минуту вспомнить самое важное и закрыть Телеграм. Причем на русском языке, независимо от того, на каком языке вышли оригинальные материалы.

Я спросил у кодекса, можно ли для этой задачи прикрутить Gemini. Идея выглядела вполне логичной: наш парсер собирает материалы, языковая модель читает их, вычленяет главное и составляет связный итог дня. Звучит даже красивее, чем просто лента. Но первый же результат заставил усомниться в том, что мы получили именно то, что обсуждали.

Дайджест прилетел в TG — и оборвался на полуслове. Причина нашлась довольно прозаическая: для сообщения действовало ограничение длины, рассчитанное раньше на обычную новость, а вовсе не на полноценный обзор. Ограничение поправили. Следующая попытка уже не обрывалась так же, зато обнаружилась новая странность: весь итог дня состоял из двух заметок, и обе были про BLAST.

Я смотрю на это и думаю: неужели за целый день во всем профессиональном Counter-Strike произошло ровно два события, и оба связаны с одним организатором турниров? Конечно, хотелось понять, действительно ли программа нашла всего две подходящие публикации или что-то пошло не так при их отборе. Так и написал в чат с ИИ: «всего 2 новости и обе про бласт? так и должно быть?».

Следующая идея выросла из самой ленты. Когда материалов становится много, возникает противоположная проблема: ты больше не хочешь получать их все подряд. Мне, например, может быть интересно следить за конкретными командами и игроками, читать о трансферах и важных матчах, но вовсе не обязательно видеть каждую мелкую заметку, которую смог найти парсер. И если я делаю этот инструмент для себя, почему бы не настроить его под собственные интересы?

Так появились фильтры и меню. Хотелось прямо в телеге выбирать нужные категории, переключаться в режим «только важное», добавлять команды и игроков в список наблюдения, а при необходимости временно заглушать поток уведомлений. Причем без походов в конфигурационные файлы и без очередного диалога с ИИшкой. Открыл настройки, нажал пару кнопок, получил нужную ленту. В идеале все должно быть именно так.

Первый вариант выглядел вполне пристойно. Кнопки на месте, разделы есть, настройки вроде бы переключаются. Но довольно быстро я заметил, что «все кликается, но кажется не работает». Прекрасная, кстати, формулировка для интерфейса: внешне реагирует на действия, но доверия не вызывает. После правок стало еще веселее — появилось два разных меню, и они показывали разные выбранные режимы. В одном у меня были отмечены все материалы, в другом — только важные. Какой из вариантов действовал на самом деле, оставалось загадкой.

До этого момента вся конструкция жила у меня на компьютере. Для первых тестов такой вариант подходил, но пользоваться новостным агрегатором, который отключается вместе с ноутбуком или домашним ПК, — удовольствие сомнительное. Особенно если его основная задача состоит в том, чтобы самостоятельно следить за событиями и присылать их, когда что-нибудь случится. Не стану же я держать компьютер включенным круглосуточно исключительно ради этой затеи.

Поэтому следующим логичным шагом стал переезд на VPS — удаленный сервер, который продолжает работать независимо от моего компьютера. У меня уже был VPS на Beget, где запускались другие боты, так что совсем новую инфраструктуру придумывать не требовалось.

Дальше нейронка снова провела меня через последовательность действий: подобрать ресурсы, перенести файлы, запустить процессы и проверить, что они не завершаются сразу после старта. Здесь у программы уже было два отдельных процесса: один занимался сбором материалов, другой отвечал на команды в Телеграме. Я проверял и то, что происходит на VPS, и то, что вижу непосредственно в чате. В какой-то момент можно было закрыть свой компьютер и понять, что новостник при этом никуда не исчезнет. Вот это уже было похоже на нормальный сервис, а не на эксперимент, который работает, пока я за ним присматриваю.

Но разумеется, переезд не обошелся без сюрпризов. Функция ежедневного обзора, которую мы с таким трудом привели в чувство локально, на VPS отказалась работать. Первое предположение было довольно стандартным: не хватает лимита API. Можно было бы начать бесконечно крутить ограничения или менять модель, но проверка настоящего ответа Gemini показала совсем другое — сервис не принимал запросы из региона, где находился сервер.

То есть дома запрос проходил, а на удаленной машине — нет. Код при этом мог оставаться совершенно одинаковым. Мы попробовали другие модели Gemini, но проблема была не в выборе конкретной версии, поэтому успеха это не принесло.

Вдобавок вылезла еще одна неприятная вещь: одно из сообщений об ошибке показывало в ссылке секретный API-ключ. Вряд ли кому-то понравится обнаружить, что инструмент, который должен экономить ему время, по дороге еще и демонстрирует служебные данные. Эту часть пришлось отдельно исправлять. Хорошее напоминание: когда ИИ собирает программу, стоит проверять не только счастливый сценарий, но и то, что происходит, когда она ломается.

Поскольку Gemini с этого VPS работать не хотел, мы попробовали другой путь — OpenRouter, сервис доступа к различным языковым моделям. И здесь все тоже оказалось не совсем гладко. Некоторые выбранные бесплатные варианты возвращали ошибки. В итоге ИИ подключил автоматический выбор модели, и в одном из тестов новый провайдер все-таки составил сводку на основе тех же пятнадцати публикаций.

На тот момент это был важный результат: я увидел на удаленной машине не обещание, что альтернативный сервис «должен заработать», а настоящий сформированный дайджест. Позже я еще попросил подготовить переход на собственный OpenAI API. Однако здесь важно не смешивать планы и сделанное: изменения внесли в локальный код, а вот подтверждения, что именно эта версия после этого успешно работала на VPS, у меня нет. Поэтому записывать ее в перечень побед было бы неправильно. На практике в таких проектах разница между «поправили у меня на компьютере» и «все работает на сервере» иногда оказывается решающей.

Первые несколько часов с новостником могут создать обманчивое впечатление, что все замечательно. Материалы приходят, кнопки нажимаются, красивый маленький сервис работает. Но для проверки некоторых функций нужны не минуты, а хотя бы несколько дней обычного использования. И вот как раз через пару дней я вернулся к одной из самых первых своих просьб — не присылать одинаковые новости.

Оказалось, что с этой задачей наш агрегатор справляется далеко не идеально. Например, один и тот же сюжет о турнире IEM Beijing приходил отдельными сообщениями из Dust2 и TalkEsport. Тексты были на разных языках, заголовки отличались, но суть события оставалась той же. Для программы это две публикации, для меня — повтор, от которого я вообще-то и хотел избавиться. Забавно: с этой проблемы началась вся история, а спустя несколько этапов разработки мы снова пришли к ней.

Параллельно обнаружился еще один дефект, на этот раз довольно уродливый с точки зрения читателя. Иногда парсер подтягивал со страницы не только статью, но и все, что расположено вокруг нее: ссылки на соседние публикации, куски меню, рекламные блоки. Представьте, что читаете материал о матче, а посреди текста внезапно появляются заголовки других статей и какие-то обрывки сайта. Получалась не новость, а информационный винегрет, в котором приходилось самому отделять полезное от мусора. Я ведь затеял все это ровно затем, чтобы избавить себя от лишних действий, а не заниматься ручной расшифровкой присланного текста.

потестил бот пару дней:

1. некоторые новости повторяются, а мы хотели, чтобы новость приходила только 1 раз

2. иногда текст новости подтягивает еще все, чтобы было на страинце сайте (ссылки на другие новости, всякие пункты меню и пр) и поулчается месиво из бессвязного текста

С вечерним дайджестом история продолжалась заметно дольше, чем мне хотелось. Изначально он представлялся красивым дополнением: утром и днем материалы приходят по одному, вечером — понятный обзор самого важного. Но в реальности именно эта функция требовала все новых исправлений. То текст обрезан, то отобраны не те публикации, то языковые модели возвращают ошибку, то результат зависит от того, где именно запущена программа. Постепенно я начал задавать себе вполне резонный вопрос: а оно мне вообще надо?

В июле, когда сводка в очередной раз начала барахлить, я попросил ее отключить и оставить только обычные новости. Помощник внес изменение в локальную версию, но доставить его до VPS тогда не удалось: сервер не принимал подключение. Получилась знакомая ситуация — на компьютере поправили, а рабочий бот продолжает жить своей жизнью.

В октябре я вернулся к вопросу. Дайджест опять выдавал ошибки. Более того, меня начало раздражать меню, которое периодически появлялось на экране без всякой просьбы с моей стороны. Я ведь хотел не постоянно взаимодействовать с каким-то сложным интерфейсом, а получать публикации в спокойном, предсказуемом виде. Если мне понадобится что-то настроить, я сам вызову нужный раздел командой.

В итоге решение получилось радикальным, но, по-моему, вполне разумным: убрать ИИ-сводку совсем, а клавиатуру держать скрытой по умолчанию и показывать только по запросу. Можно было продолжать бесконечно латать вечерний обзор ради самого факта, что у бота есть «искусственный интеллект», но я изначально не ставил задачу сделать демонстрацию возможностей нейросетей. Мне нужна была удобная новостная лента. Если дополнительная функция регулярно мешает основной, возможно, лучшая доработка — просто от нее отказаться.

В итоге у меня получился бот для Телеграма, который собирает новости о профессиональном CS2 из подключенных источников, присылает их в чат, умеет работать с выбранными темами и не требует держать включенным мой компьютер. Он живет на VPS, а меню появляется только тогда, когда я сам его вызываю. ИИ-сводки в текущей версии нет — я попробовал, несколько раз исправлял, поборол часть проблем и в конце концов решил, что без нее будет лучше.

Главное, что мне понравилось в этой истории, — возможность сделать работающую вещь, практически не понимая языка, на котором она написана. Несколько лет назад подобная идея у меня, скорее всего, так и осталась бы идеей: нужно искать разработчика, ставить задачу, объяснять нюансы, ждать. Здесь я мог общаться с ИИ почти как с живым разработчиком. По сути, тот же привычный формат общения с ChatGPT, только на выходе получаешь не текстовый ответ, а очередную версию своей программы: «вот чего я хочу», «вот что получилось», «вот это неудобно», «а это вообще не работает, смотри скриншот».

Но есть и обратная сторона. Нейронка не живет с вашим ботом и не чувствует, как он раздражает, когда третий раз за день присылает одну и ту же новость или выдает обрывок чужого меню вместо статьи. Она может исправить конкретную ошибку, отчитаться об успешных тестах и перейти к следующему заданию. А понять, что продукт в целом удобен, все еще должен человек, ради которого этот продукт создавался.

Если бы я начинал заново, то, наверное, шел бы примерно тем же путем: сначала добиться одного настоящего сообщения, затем подключить площадки, несколько дней пользоваться новостником в обычном режиме и постепенно исправлять то, что действительно мешает. Не пытаться сразу напичкать его всеми возможными функциями, а проверять каждую на практике. И самое главное — не доверять фразе «все готово», пока сам не открыл телегу и не убедился, что получаю именно то, чего хотел в самом начале: интересные новости без лишней возни.