Skyrim с нейросетью: как оживить NPC с помощью ИИ и установить мод Mantella

Что такое нейросеть в Skyrim и зачем она нужна

Модификация Mantella — это революционный проект, который интегрирует в The Elder Scrolls V: Skyrim современные большие языковые модели (LLM), такие как ChatGPT, Llama, Grok и другие. Благодаря этому NPC перестают быть просто набором заскриптованных реплик и начинают вести полноценные диалоги, реагируя на действия игрока и окружающий мир.

Основная идея заключается в том, что каждое взаимодействие с персонажем обрабатывается нейросетью: она анализирует контекст (кто вы, где находитесь, что произошло ранее) и генерирует уникальный ответ, который затем озвучивается с помощью синтеза речи. Это позволяет достичь невиданного ранее уровня погружения, когда каждый разговор становится неповторимым.

Помимо Mantella, существует более продвинутый мод CHIM, который позволяет не только разговаривать с NPC, но и отдавать им команды, например, «садись» или «иди за мной». Однако CHIM сложнее в установке и требует более тонкой настройки. Оба мода поддерживают русский язык, что делает их доступными для русскоязычных игроков.

Как работает связка LLM, TTS и STT

Для полноценной работы нейросети в Skyrim необходимо три ключевых компонента:

• LLM (Large Language Model) — «мозг» системы. Он отвечает за генерацию текста ответов. Мод передает нейросети информацию о персонаже, локации, времени суток и истории диалогов. В качестве LLM можно использовать как облачные сервисы (ChatGPT, Claude, Grok), так и локальные модели, запускаемые на вашем ПК.

• TTS (Text-to-Speech) — синтез речи. Преобразует сгенерированный текст в аудио. Для этого используются нейросети, обученные на голосах оригинальных актеров Skyrim, например, ElevenLabs или локальные модели xVASynth. Это позволяет NPC говорить новыми фразами, но с их родными голосами.

• STT (Speech-to-Text) — распознавание речи. Позволяет игроку говорить в микрофон, а не вводить текст с клавиатуры. Система распознает речь и передает ее в LLM. Обычно используется Whisper, который отлично понимает русский язык.

Все эти компоненты работают одновременно и синхронизируются через мод-мост, который связывает игру с внешними сервисами или локальными программами. Именно поэтому установка требует внимательности и точного следования инструкциям.

Системные требования и выбор подхода: локально или через облако

Прежде чем приступать к установке, важно определиться, какой способ запуска нейросети вы будете использовать: локальный или облачный.

Локальный способ подразумевает запуск LLM на вашем компьютере. Для этого потребуется видеокарта NVIDIA с объемом памяти не менее 6 ГБ (например, GTX 1660 и выше). Видеокарты AMD не поддерживаются для локального запуска, но можно использовать процессор, хотя это будет очень медленно. Локальные модели, такие как Mistral-Nemo-Instruct-2407, обеспечивают бесплатную работу без интернета, но качество ответов может быть ниже, чем у облачных аналогов.

Облачный способ предполагает подключение к удаленным серверам через API-ключ. Это может быть официальный API OpenAI (ChatGPT), OpenRouter (агрегатор множества моделей) или другие сервисы. Облачные модели обычно умнее и быстрее, но требуют оплаты за использование. Для русского языка лучше всего подходят модели, обученные на больших объемах русскоязычных данных.

Также стоит учитывать, что для работы TTS и STT могут потребоваться дополнительные ресурсы. Например, для качественного синтеза речи можно арендовать GPU на сервисах вроде RunPod, где развернут специальный сервер xTTS. Это особенно актуально для русской озвучки, так как стандартные модели могут звучать неестественно.

Подготовка игры и базовых инструментов

Первый шаг — установка самой игры. Рекомендуется использовать версию Skyrim Special Edition с GOG, так как она имеет меньше проблем с совместимостью модов, чем Steam-версия. После установки игры необходимо скачать и установить Skyrim Script Extender (SKSE) — это расширение, которое позволяет модам работать с внутренними механизмами игры. Файл skse64_loader.exe должен находиться в папке с игрой, рядом с SkyrimSE.exe.

Далее потребуется менеджер модов Mod Organizer 2. Он позволяет устанавливать и управлять модами, не изменяя оригинальные файлы игры. При первом запуске выберите портативный режим и укажите версию игры GOG. После этого нужно скачать и установить ряд обязательных модов, которые обеспечивают совместимость и стабильность:

• Address Library for SKSE Plugins
• PapyrusUtil SE
• UIExtensions
• No NPC Greetings
• World Encounter Hostility Fix
• Unofficial SSE Patch (и русская версия)
• SkyUI Russian translation

Эти моды создают основу для работы Mantella и предотвращают конфликты. Важно устанавливать их в правильном порядке, который указан в инструкции.

Установка и настройка xVASynth для синтеза речи

xVASynth — это программа для синтеза речи, которая использует нейросети для генерации голосов NPC. Для русской версии необходимо скачать не только саму программу, но и дополнительные файлы.

Скачайте xVASynth v3 и патч к нему, затем распакуйте в удобную папку, например, E:\OpenAI\xVASynth. После этого установите русский словарь транскрипции Russian Dictionary, который улучшает произношение английских слов в русской речи. Его нужно поместить в папку resources\app\python\xvapitch\text\dicts.

Также понадобятся плагины: .lip and .fuz plugin for xVASynth (для создания файлов анимации губ) и FaceFXWrapper (для корректной работы с файлами .fuz). Скачайте голосовые модели, например, Female Serana и Male Nord, и поместите их в папку models\Skyrim, переименовав файлы в sk_serana.pt и sk_serana.json (аналогично для других моделей).

Запустите xVASynth, активируйте плагин .lip and .fuz, подключите словари CMUDicT и XVADict — Elder Scrolls, выберите голосовые модели и настройте пути к папкам. Убедитесь, что микрофон и динамики выбраны правильно. После этого программа готова к работе.

Настройка локальной LLM через KoboldCpp

Для локального запуска нейросети используется программа KoboldCpp. Скачайте последнюю версию koboldcpp.exe и выберите подходящую языковую модель в формате GGUF. Например, Mistral-Nemo-Instruct-2407-Q4_K_M.gguf — это хороший баланс между качеством и производительностью.

Запустите KoboldCpp, укажите путь к модели, увеличьте размер контекста до 8192 токенов (это позволит NPC запоминать больше информации). Если вы хотите, чтобы NPC могли «видеть» окружающий мир, можно добавить модель для распознавания изображений. Сохраните настройки в файл settings.kcpps, чтобы можно было быстро переключаться между конфигурациями.

После запуска KoboldCpp создаст локальный сервер, к которому будет обращаться Mantella. В файле GPT_SECRET_KEY.txt мода нужно указать адрес http://localhost:5001/api/. Это позволит игре использовать вашу локальную нейросеть без необходимости платить за облачные сервисы.

Установка мода Mantella и настройка конфигурации

Сам мод Mantella устанавливается через Mod Organizer 2. Скачайте его с Nexus Mods и установите как обычный мод. После этого необходимо отредактировать файлы конфигурации.

В папке мода найдите файл GPT_SECRET_KEY.txt и впишите туда адрес вашего LLM-сервера (локального или облачного). Затем откройте файл custom_user_folder.ini и укажите путь к папке, где будут храниться данные Mantella, например, E:\SkyrimAI\Mantella. Создайте эту папку.

После первого запуска игры с модом создадутся файлы конфигурации. Откройте config.ini в папке Mantella и настройте параметры:

• game = Skyrim
• skyrim_mod_folder = путь к папке мода в Mod Organizer
• llm_api = KoboldCpp (или другой провайдер)
• model = Custom (если используете локальную модель)
• language = ru (для русского языка)
• microphone_enabled = 1 (если хотите говорить в микрофон)

Также важно настроить параметры игры: включить субтитры, установить разрешение и полноэкранный режим. Эти настройки находятся в файлах Skyrim.INI и SkyrimPrefs.ini, которые можно скопировать в профиль Mod Organizer.

Русская локализация и решение типичных проблем

Многие игроки сталкиваются с трудностями при настройке русского языка в Mantella. Основные проблемы связаны с распознаванием речи, синтезом и генерацией текста.

Для распознавания речи (STT) рекомендуется использовать Whisper, который отлично понимает русский. В настройках Mantella укажите Whisper в качестве STT-движка. Для синтеза речи (TTS) можно использовать xVASynth с русскими голосовыми моделями, но их качество может быть неидеальным. Альтернатива — использовать облачный TTS, например, ElevenLabs, который поддерживает русский язык.

Что касается LLM, то важно, чтобы модель могла генерировать текст на русском. Большинство современных моделей (ChatGPT, Llama, Mistral) это умеют. В главном промте Mantella нужно явно указать, что общение ведется на русском языке. Также можно добавить дополнительные инструкции для улучшения стиля ответов.

Если NPC говорят с ошибками или не реагируют на русскую речь, проверьте настройки языка в конфигурации и убедитесь, что все компоненты (STT, TTS, LLM) настроены на русский. Иногда помогает перезапуск всех программ в правильном порядке: xVASynth, KoboldCpp, Mod Organizer, игра.

Расширенные возможности: зрение NPC и взаимодействие с миром

Современные версии Mantella и CHIM позволяют NPC не только разговаривать, но и воспринимать окружающий мир. Например, они могут видеть, что надето на игроке, какое оружие он держит, и реагировать на это. Это достигается за счет подключения моделей компьютерного зрения, которые анализируют скриншоты игры.

В KoboldCpp можно добавить модель для распознавания изображений, которая будет передавать описание сцены в LLM. Это позволяет NPC комментировать вашу экипировку, погоду или даже ваши действия. Например, если вы достали меч, NPC может спросить, не собираетесь ли вы напасть.

Кроме того, NPC могут выполнять команды игрока, если это поддерживается модом. В CHIM можно сказать «Садись», и персонаж сядет на ближайший стул. Это открывает новые возможности для ролевой игры и взаимодействия с миром. Однако такие функции требуют более сложной настройки и мощного оборудования, так как нагрузка на систему возрастает.

Сравнение Mantella и CHIM: что выбрать

Оба мода — Mantella и CHIM — позволяют оживить NPC с помощью нейросетей, но у них есть существенные различия.

Mantella — это более простой в установке и настройке мод. Он поддерживает базовые функции: разговоры, запоминание диалогов, реакцию на действия игрока. Подходит для большинства пользователей, которые хотят быстро получить результат. Однако его возможности ограничены: NPC не могут выполнять сложные команды, а качество диалогов зависит от выбранной LLM.

CHIM — это более продвинутый мод, который позволяет NPC взаимодействовать с миром на более глубоком уровне. Они могут выполнять команды, перемещаться, использовать предметы. CHIM также лучше интегрирован с русским языком и поддерживает больше моделей. Однако установка CHIM требует больше времени и технических навыков, а также более мощного ПК.

Если вы новичок, начните с Mantella. Если вам нужны расширенные функции и вы готовы потратить время на настройку, выбирайте CHIM. Оба мода постоянно развиваются, и в будущем их возможности будут только расширяться.

Вопросы и ответы