🧠 NeuroVT

NeuroVT — это модульная система для создания AI-втубера с поддержкой голосового ввода (STT), синтеза речи (TTS), языковых моделей (LLM) и веб-интерфейса на Flask.

🎙️ Говорите - AI отвечает голосом.
🧩 Модульная архитектура - легко добавлять новые функции.
🌐 Всё управление через браузер.

---

✨ Возможности

🎤 STT (Speech-to-Text) - faster-whisper

• Основной микрофон - для ведущего (хост) — горячая клавиша Ctrl+Shift+M
• Виртуальный микрофон - для гостей - горячая клавиша Ctrl+Shift+V
• Автоопределение языка или ручной выбор
• Визуальный индикатор речи в интерфейсе
• История распознанных сообщений для каждого микрофона

🔊 TTS (Speech-to-Text) - два движка на выбор

Silero TTS

• Модель: Silero (v3_1_ru)
• Голоса: Айдар, Бая, Ксения, Ксения (альт), Евгений
• Качество: 24 кГц / 48 кГц

Chatterbox TTS

• Клонирование голоса - используйте любые .wav файлы в папке references/ внутри модуля
• Подробная настройка параметров синтеза:
  • Exaggeration (экспрессия) - от 0 до 1.5
  • CFG Weight - от 0 до 2
  • Temperature - от 0.05 до 5
  • Min P / Top P - фильтрация токенов
  • Repetition Penalty - от 1 до 3

Общие возможности TTS:

• Вывод на динамики и/или виртуальный микрофон (VB-Cable и др.)
• Выбор конкретного устройства вывода для каждого режима

🧠 LLM (OpenAI-совместимые API)

• Поддержка любых API, совместимых с OpenAI (OpenRouter, локальные модели, API OpenAI)
• Управление сессиями (создание, удаление, переименование)
• Ограничение контекста по токенам (автообрезка истории при превышении)
• Гостевой префикс - автоматически добавляется к сообщениям с виртуального микрофона
• Стриминг ответов - генерация ответа в реальном времени
• Fallback-ответы при отсутствии API-ключа или ошибках сети

⚙️ Дополнительно

• Веб-интерфейс для управления NeuroVT
• CLI-менеджер для установки, обновления и запуска (Windows/Linux)
• Модульная архитектура для лёгкого расширения

---

🚀 Быстрый старт

1. Клонирование репозитория

git clone https://github.com/FreshLend/NeuroVT.git
cd NeuroVT

2. Запуск менеджера

Windows — дважды кликните run.bat

Linux:

chmod +x run.sh
./run.sh

3. Настройка виртуального микрофона (опционально)

Для использования разделения на "хост" + "гость":

1. Установите VB-Cable Virtual Audio Cable + Voicemeeter Banana
2. В настройках STT укажите:
   • Основной микрофон - ваш реальный микрофон
   • Виртуальный микрофон - Voicemeeter Out B2 (VB-Audio Voicemeeter VAIO)
3. В настройках TTS укажите:
   • Динамики - Voicemeeter Input (VB-Audio Voicemeeter VAIO)
   • Виртуальный микрофон - CABLE Input (VB-Audio Virtual Cable)
4. В настройках LLM задайте Префикс гостя (например "[YunaAi]: ")

Теперь всё, что распознаётся с виртуального микрофона, будет отправляться в LLM с этим префиксом.

4. Настройка клонирования голоса (Chatterbox TTS)

1. Перейдите в Настройки → TTS (Chatterbox)
2. Поместите .wav файлы с голосом в папку modules/Chatterbox/references/
3. Нажмите кнопку обновления списка голосов
4. Выберите нужный голос из выпадающего списка

---

📁 Структура проекта

NeuroVT/
├── main.py # Точка входа (Flask + модули)
├── run.bat / run.sh # CLI-менеджер
├── requirements.txt # Основные зависимости
├── config.py # Отключение модулей (DISABLED_MODULES)
├── core/
│ ├── event_bus.py # Шина событий между модулями
│ └── module_loader.py # Загрузчик модулей
├── modules/
│ ├── base_module.py # Базовый класс для модулей
│ ├── Whisper/ # STT (Faster-Whisper)
│ │ ├── main.py
│ │ └── templates/
│ ├── Silero/ # TTS (Silero)
│ │ ├── main.py
│ │ └── templates/
│ ├── Chatterbox/ # TTS (Chatterbox Multilingual с клонированием)
│ │ ├── main.py
│ │ ├── references/ # 📁 папка для .wav файлов голосов
│ │ └── templates/
│ └── OpenAICompatible/ # LLM (OpenAI-совместимые)
│ ├── main.py
│ └── templates/
└── templates/ # Общие шаблоны
├── base.html
├── index.html

---

🎛️ Настройка модулей

STT (Whisper)

Настройка	Описание
Устройство (основное)	Выбор микрофона для ведущего
Устройство (виртуальное)	Выбор микрофона для гостей
Горячая клавиша (основная)	По умолчанию Ctrl+Shift+M
Горячая клавиша (виртуальная)	По умолчанию Ctrl+Shift+V
Язык распознавания	Авто или конкретный язык

Silero TTS

Настройка	Описание
Голос	Айдар, Бая, Ксения, Ксения (альт), Евгений
Качество	Стандартное (24 кГц) / Высокое (48 кГц)

Chatterbox TTS

Настройка	Описание	Диапазон
Референсный голос	Выбор .wav файла для клонирования	—
Exaggeration	Экспрессивность речи	0 – 1.5
CFG Weight	Вес CFG (0 = чистое переключение языка)	0 – 2
Temperature	Разнообразие интонаций	0.05 – 5
Min P	Минимальная вероятность токена	0 – 1
Top P	Top-P фильтрация	0 – 1
Repetition Penalty	Штраф за повторения	1 – 3

LLM (OpenAI-совместимые)

Настройка	Описание
API Base URL	URL API (OpenRouter, OpenAI, локальный)
API Key	Ваш API-ключ
Загрузка моделей	Получение списка доступных моделей из API
Поиск моделей	Фильтрация списка моделей
Температура	Креативность ответов (0 – 2)
Max Tokens	Максимальная длина ответа
Лимит контекста	Максимум токенов в истории диалога
System Prompt	Системный промпт для AI
Префикс гостя	Добавляется к сообщениям с виртуального микрофона
Fallback ответы	Ответы при недоступности API (по одному на строку)

---

🔧 Конфигурация отключения модулей

В файле config.py можно отключить ненужные модули, указав имена папок модулей:

DISABLED_MODULES= ["Silero", "Whisper"]

---

🔌 События Event Bus

Событие	Отправитель	Данные
tts_speak	LLM / любой модуль	{"text": "...", "source": "..."}
tts_started	TTS	{"text": "...", "source": "...", "queue_position": n}
stt_text_ready	STT	{"text": "...", "is_final": true, "language": "...", "source": "microphone/virtual_microphone"}
llm_voice_input	STT	{"text": "...", "source": "...", "timestamp": "..."}

---

🛠️ Установка зависимостей вручную

# Создать виртуальное окружение
python -m venv venv
# Активироватьsource venv/bin/activate # Linux
venv\Scripts\activate # Windows# Установить основные зависимости
pip install -r requirements.txt

---

⚙️ Настройка API-ключа

1. Зарегистрируйтесь на OpenRouter (или используйте другой OpenAI-совместимый API)
2. Создайте API-ключ
3. В веб-интерфейсе перейдите в Настройки → LLM
4. Введите API Base URL (по умолчанию https://openrouter.ai/api/v1)
5. Вставьте ключ в поле API Key
6. Нажмите Загрузить список моделей
7. Выберите модель из списка
8. Нажмите Сохранить все настройки

Без ключа работают только fallback-ответы.

---

🎯 Пример использования

1. Запуститеrun.bat или ./run.sh
2. Выберите Full installation (1)
3. Откройте браузер → http://localhost:5000
4. В Настройки → LLM настройте API-ключ
5. В Настройки → TTS (Chatterbox) выберите голос (опционально)
6. Вернитесь на главную → вкладка Чат с AI
7. Нажмите Ctrl+Shift+M, чтобы включить основной микрофон
8. Скажите что-нибудь - AI ответит голосом!

Для работы с гостем (виртуальный микрофон)

1. Установите виртуальный аудиокабель (VB-Cable)
2. В Настройки → STT:
   • Основной микрофон = ваш реальный микрофон
   • Виртуальный микрофон = Voicemeeter Out B2
3. В Настройки → LLM:
   • Префикс гостя = "[Гость]: "
4. Направьте аудиопоток из Discord или другого приложения в виртуальный кабель
5. Нажмите Ctrl+Shift+V для активации виртуального микрофона

---

🧩 Создание своего модуля

1. Создайте папку в modules/, например modules/MyModule/
2. Внутри создайте файл main.py (обязательно) и папку templates/
3. Пример main.py:

frommodules.base_moduleimportBaseModulefromflaskimportjsonifyclassMyModule(BaseModule):
name="my_module"display_name="Мой модуль"category="Категория"icon="fa-box"# иконкаdefregister_routes(self):
@self.app.route('/api/my_module/hello')defmy_hello():
returnjsonify({"message": "Hello from my module!"})
defregister_main_tab(self):
return ("Моя вкладка", self.get_template_content("main_tab.html"))
defregister_settings_ui(self):
returnself.get_template_content("settings.html")
defon_load(self):
print(f"[{self.display_name}] Загружен!")
self.event_bus.subscribe("some_event", self.handle_event)

4. Добавьте HTML-шаблоны в modules/MyModule/templates/:
   • main_tab.html - содержимое вкладки на главной странице
   • settings.html - содержимое вкладки настроек
   • filename.html - содержимое вашей страницы
5. Добавьте requirements.txt или priority.txt (для тех что должны грузится первые) если нужны зависимости
6. Чтобы отключить модуль, добавьте имя его папки в config.DISABLED_MODULES

---

🐛 Устранение неполадок

Проблема	Решение
Модуль не загружается	Проверьте config.py — не отключён ли модуль. Убедитесь, что в папке есть файл main.py
STT не слышит микрофон	Проверьте выбранное устройство в настройках STT.
TTS нет звука	Проверьте режим вывода и выбранное устройство. Попробуйте кнопку "Тест озвучки"
OpenRouter не отвечает	Проверьте API-ключ и API Base URL. Нажмите "Сохранить все настройки". Без ключа работают fallback-ответы
Chatterbox не клонирует голос	Убедитесь, что .wav файл моно, 16-24 кГц, 16-bit. Нажмите обновление списка голосов после добавления файла
Ошибка импорта модуля	Установите зависимости через CLI-менеджер (пункт 1 или 3)

---

📄 Лицензия

Проект распространяется под лицензией MIT. Подробнее см. в файле LICENSE.