Bezlimit School · гайд к посту «Claude Code собирает данные»

Claude Code сам собирает данные из интернета

Три бесплатных открытых инструмента. Ставишь их один раз, дальше просто пишешь Claude, что нужно найти, а он сам собирает и сводит. Ниже шаги из официальных README.

Agent-Reach · 94 тыс. звёзд
Scrapling · 86 тыс.
Crawl4AI · 85 тыс.
1

Что делает каждый

  1. Agent-Reach - открывает Claude доступ к YouTube, Reddit, X, GitHub, RSS и обычным сайтам. Ставится одной фразой и сам проверяет, что работает.
  2. Scrapling - достаёт данные с сайтов. Находит нужное, даже когда сайт поменял вёрстку. Есть подключение к Claude (MCP).
  3. Crawl4AI - превращает любую страницу в чистый текст, который удобно читать нейросети. На своём компьютере бесплатно.

Для начала хватит одного Agent-Reach. Два других пригодятся, когда нужно много страниц с сайтов.

2

Agent-Reach: поставит сам Claude

Открой Claude Code и вставь фразу. Он прочитает инструкцию авторов и всё поставит за несколько минут.

запрос для Claude Code 
Установи Agent Reach: https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

Без настройки сразу работают YouTube, сайты, GitHub, RSS и поиск. Для X, Reddit, Instagram и Facebook нужен вход: инструмент берёт твой вход из браузера. Скажи Claude «помоги настроить Reddit», он подскажет шаги.

важно Вход в соцсети идёт через твой аккаунт. Частые запросы соцсеть может принять за бота и заблокировать аккаунт. Для сбора бери второй аккаунт, не основной.
3

Scrapling и Crawl4AI

Нужен Python 3.10 или новее. Проще всего попросить Claude Code: «поставь Scrapling и Crawl4AI и проверь, что они работают». Если хочешь сам - команды в терминале:

Scrapling 
pip install "scrapling[all]"
scrapling install
Crawl4AI 
pip install -U crawl4ai
crawl4ai-setup

Вторая строка в каждом блоке ставит браузер, через который инструмент открывает сайты. Это делается один раз.

У Crawl4AI есть и платное облако. Оно не нужно: на своём компьютере всё бесплатно.
4

С каких запросов начать

конкуренты на YouTube 
Собери ролики трёх конкурентов на YouTube за последний месяц: названия, просмотры, о чём каждый. Скажи, какие темы заходят лучше всего, и сохрани таблицу в файл.
отзывы о продукте 
Найди обсуждения моего продукта на Reddit и в X за полгода. Сведи главные жалобы и похвалы в список, у каждого пункта ссылка на источник.
тарифы конкурентов 
Зайди на сайты пяти конкурентов, собери их тарифы и что входит в каждый. Сделай сравнительную таблицу.

Подставь свои названия. Чем точнее скажешь, что положить в таблицу, тем меньше переделок.

5

Где граница

  1. Открытые данные - посты, ролики, отзывы, цены на сайтах - собирать для анализа можно.
  2. Личные данные людей (телефоны, почты) собирать и использовать для рассылок без согласия нельзя: это нарушение закона о персональных данных.
  3. Правила сайта - у многих сайтов есть ограничения на автоматический сбор. Не нагружай сайт тысячами запросов.

Код и документация: Agent-Reach · Scrapling · Crawl4AI

Хочешь, чтобы Claude закрывал задачи бизнеса

Мы учим двум вещам: делать AI-видео и работать с Claude так, чтобы он закрывал реальные задачи бизнеса. У меня есть бесплатный разбор на полтора часа - смотреть можно сразу после регистрации.

Смотреть разбор