earshot: Claude начинает слышать

earshot - открытая программа на Python. Автор вышел с ней 15 октября 2026 года, версия 0.1.0. Внутри две открытые модели (одна сопоставляет звук с текстовым описанием, другая узнаёт классы звуков) плюс набор обычных измерений: громкость, пики, время, спектр. Работает на твоём компьютере, на процессоре, видеокарта не нужна. После первой загрузки моделей интернет ей не нужен.

Подключить можно тремя способами: командами в терминале, из своего кода на Python или как MCP-сервер для Claude Code. Третий путь самый удобный: Claude сам зовёт нужную функцию, а модели остаются загруженными между вызовами.

Есть и необязательная команда llm: отправляет звук на разбор в Gemini, только с твоим ключом и твоим явным согласием. Всё остальное работает без интернета.

Нужны Python 3.10 или новее и ffmpeg (вместе с ffprobe), доступные из терминала. При первом использовании earshot скачает две модели, примерно 1,4 ГБ, в папку .cache/hf внутри своей папки.

Самый простой путь. Вставь в Claude Code эту фразу целиком. Claude сам пройдёт установку по README и скажет, чего не хватает.

Install earshot from https://github.com/Leonxlnx/earshot exactly as its README says (CPU torch, then the package with the mcp extra), run earshot doctor --load, then add it to Claude Code as an MCP server and tell me what is missing.

Или сам, в терминале (команды для Windows; на Mac и Linux вместо .venv\Scripts\python пиши .venv/bin/python). Последняя строка проверяет установку и загружает модели.

git clone https://github.com/Leonxlnx/earshot
cd earshot
python -m venv .venv
.venv\Scripts\python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv\Scripts\python -m pip install -e ".[mcp,llm,dev]"
.venv\Scripts\python -m earshot doctor --load

Подключить к Claude Code. Подставь свой путь к папке earshot. EARSHOT_THREADS=3 - сколько ядер процессора ему можно занять.

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- C:\путь\к\earshot\.venv\Scripts\python.exe -m earshot mcp

Если после этого Claude Code не видит инструменты earshot, автор советует запускать его с увеличенным временем ожидания:

$env:MCP_TIMEOUT=60000; claude

Пиши обычными словами и называй earshot, чтобы Claude взял именно его. Файлы указывай полным путём.

1. Расшифровка звука ролика. Что работает внутри: timeline / sheet: события по времени, громкость, попадание звука в склейки картинки.

Послушай через earshot звук в ролике final.mp4: распиши по секундам, что звучит, и скажи, на какие склейки звук не попадает.

2. Выбор из скачанного. Что работает внутри: rank: сортирует файлы по совпадению с описанием.

В папке sfx лежат звуки. Через earshot выбери три лучших под описание «мягкий щелчок кнопки» и объясни выбор цифрами.

3. Лучший кусок длинной записи. Что работает внутри: find: лучшие моменты внутри записи с точными границами.

В записи typing.wav найди через earshot самое чистое одиночное нажатие клавиши и дай время начала и конца.

4. Разбор против профессионалов. Что работает внутри: critique: оценка против профиля 7 профессиональных роликов-запусков, правки по времени.

Сравни через earshot звук моего ролика promo.mp4 с профессиональными роликами-запусками и скажи, что исправить первым.

5. Звук кодом. Что работает внутри: forge: рецепты click, impact, keypress, pop, whoosh; для сравнения нужны настоящие записи того же звука.

Сделай через earshot forge звук быстрого свиста для перехода, сравни с настоящими записями из папки refs и доведи на слух.

Агент пишет звук как код: рецепт из физической модели удара, резонанса, шума, комнаты и микрофона. Записей внутри нет. forge собирает много вариантов, оценивает каждый «ушами» earshot, лучшие меняет и пробует снова. Потом агент читает оценку словами («похоже на хлопок пробки»), смотрит спектр рядом с настоящими записями и переписывает рецепт. Готовые рецепты: щелчок, удар, клавиша, хлопок, свист.

1. Слепой тест автора. Пять звуков, сделанных кодом, он слушал вперемешку с настоящими записями того же рода. Сделанный кодом угадал 8 раз из 15, то есть почти наугад. Выдал себя только удар: у него слишком быстро гаснет хвост.
2. Слушатель был один, попыток 15. Сам автор называет это небольшим тестом, а не доказательством.
3. Модели можно «обмануть». Поиск подгоняет звук под оценку самих моделей, и после него проверки моделями перестают отличать сделанное от настоящего. Автор советует судить по замерам без моделей, по спектру рядом с эталонами и по слепому тесту живым человеком.

Это пересказ раздела автора о пределах (docs/LIMITS.md).

Цифры автора: в поиске по библиотеке из 125 настоящих записей вердикт «сильное совпадение» в 98% случаев указывает на нужный род звука. В 60-секундном ролике с музыкой находится 93% звуковых эффектов. Ролик на 60-90 секунд слушается около полутора минут на процессоре ноутбука.

1. Мы сами его не запускали. Всё выше - по README и файлам репозитория на 16.10.2026 и по фильму автора.
2. Установка для тех, кто не боится терминала. Python, отдельное окружение, ffmpeg и 1,4 ГБ моделей. Фраза из раздела 3 перекладывает это на Claude.
3. Медленный первый вызов. Каждая команда в терминале заново грузит модели, это 20-40 секунд. Через MCP модели грузятся один раз.
4. Ранняя версия. 0.1.0, сам автор помечает её как альфу. Проверяли на одной библиотеке звуков и 7 роликах-запусках, другие жанры не проверены.
5. Вкус остаётся за тобой. earshot скажет, что щелчок попал в склейку через 4 мс, но не скажет, что ролик ощущается дорогим.

Первоисточник: репозиторий earshot на GitHub.