Стриминговый аватар становится гораздо полезнее, когда может отвечать на основе информации вашей компании, а не полагаться на общую модель. Самый безопасный способ подключения внешней базы знаний LLM — это сохранение процессов поиска, вызовов модели, управления правами доступа и проверки ответов на стороне вашего серверного приложения, с последующим использованием AKOOL Streaming Avatar в качестве уровня визуального общения в реальном времени.
Этот подход работает с сервисом генерации с дополненной выборкой (RAG), векторной базой данных, корпоративной поисковой системой или агентской платформой. Он также позволяет избежать передачи конфиденциальных учетных данных в браузер и дает вашей команде контроль над тем, что именно разрешено говорить аватару.
Краткий ответ
Постройте соединение как контролируемый конвейер:
- Клиент говорит или вводит текст в вашем приложении.
- Ваш бэкенд идентифицирует пользователя, извлекает разрешенную информацию и отправляет обоснованный контекст в вашу LLM.
- Ваше приложение проверяет ответ на соответствие политикам, уверенность модели и форматирование.
- Одобренный ответ отправляется в сессию аватара в реальном времени для озвучивания.
- События сессии, цитирования, задержки и ошибки регистрируются для мониторинга.
AKOOL также предоставляет встроенную опцию базы знаний через поле knowledge_id при создании сессии живого аватара. Это удобно, если ваш контент уже находится в AKOOL. Если вы используете внешний стек RAG, рассматривайте его как интеграцию на уровне приложения, а не как возможность напрямую передать произвольную стороннюю базу данных в качестве идентификатора базы знаний AKOOL.
Что нужно подготовить перед началом
Подготовьте четыре компонента перед созданием диалогового потока:
- Курируемый источник знаний: документация по продукту, политики, каталоги, статьи поддержки или другие утвержденные материалы.
- Уровень поиска и LLM: сервис, который может искать по разрешенному контенту и формировать ответ с отслеживаемым контекстом источника.
- Серверный оркестратор: сервер, который хранит учетные данные, создает сеансы аватаров, применяет правила доступа и координирует диалог.
- Интерфейс для взаимодействия с клиентами: веб- или мобильное приложение, которое отображает аватар, получает ввод данных и управляет состоянием подключения.
Шаг 1: Подготовка базы знаний для надежного поиска
Качественные ответы аватара начинаются с качественных исходных материалов. Удалите дубликаты, перенесите в архив устаревшие инструкции и разбейте длинные документы на разделы, сохраняющие смысл. Добавьте метаданные, такие как продукт, регион, язык, целевая аудитория и дата вступления в силу, чтобы система поиска могла фильтровать результаты перед их ранжированием.
Определите, к каким документам может получить доступ каждый пользователь. Обычный посетитель, авторизованный клиент и штатный сотрудник не должны автоматически получать данные из одной и той же коллекции. Применяйте эти правила до того, как контент поступит в модель.
Шаг 2: Создание сеансов аватаров на бэкенде
Используйте серверную конечную точку для аутентификации в AKOOL и создания активного сеанса аватара. Create Session API принимает такие настройки, как аватар, голос, язык, длительность, режим потоковой передачи и необязательный идентификатор базы знаний.
Возвращайте только краткосрочную информацию о сеансе, необходимую клиенту. Не раскрывайте секретный ключ клиента AKOOL, API-ключ LLM или учетные данные базы данных в коде браузера. Рекомендации AKOOL по использованию SDK предполагают управление сеансами на бэкенде, использование краткосрочных токенов, структурированную обработку ошибок и ведение журналов.
Шаг 3: Маршрутизация каждого запроса через вашу LLM
Когда клиент задает вопрос, отправьте транскрипт или набранное сообщение на ваш бэкенд. Бэкенд должен извлекать только разрешенные фрагменты, формировать сфокусированный запрос и давать модели указание отвечать на основе предоставленных данных. Если данных недостаточно, модель должна задать уточняющий вопрос или переключить пользователя на оператора, вместо того чтобы импровизировать.
Перед отправкой ответа примените необходимые для вашего сценария проверки. К стандартным проверкам относятся поиск персональных данных, запрещенных тем, формулировок, требуемых регулятором, ограничение длины ответа и наличие ссылок на источники. Короткие, разговорные ответы обычно воспринимаются на экране лучше, чем длинные абзацы.
Шаг 4: Представление ответа через аватар
Инициализируйте аватар в клиентском интерфейсе с помощью JavaScript SDK от AKOOL. SDK использует протоколы связи в реальном времени и генерирует события жизненного цикла, которые ваш интерфейс может использовать для обратной связи о подключении, состояния микрофона, истории сообщений и истечения срока действия токена.
Отправьте утвержденный ответ в активный сеанс и позвольте аватару озвучить его выбранным голосом на нужном языке. Поддерживайте отзывчивость визуального интерфейса во время поиска: отображайте состояние «слушаю» или «думаю», дайте пользователю возможность отмены и предусмотрите текстовый вариант ответа на случай прерывания соединения в реальном времени.
Альтернатива на основе агентов
Команды, уже использующие фреймворк голосовых агентов, могут интегрировать аватар в свою архитектуру. AKOOL публикует официальное руководство по интеграции LiveKit Agent , которое связывает серверного агента с AKOOL Streaming Avatar. В такой схеме агент может координировать распознавание речи, LLM, внешние инструменты и аватар, в то время как ваш бэкенд сохраняет контроль над учетными данными и бизнес-логикой.
Как протестировать интеграцию
Проверяйте не только то, может ли аватар говорить. Используйте набор вопросов, включающий прямые факты, неоднозначные запросы, устаревшую информацию, документы с ограниченным доступом, вопросы, на которые нет ответа, и запросы на разных языках. Для каждого теста фиксируйте:
- были ли извлечены правильные документы;
- насколько ответ соответствовал этим документам;
- время до первого видимого или слышимого отклика;
- поведение при прерываниях, переподключениях и истечении срока действия токенов;
- произошел ли правильный переход к резервному сценарию или передача диалога оператору.
Проводите те же проверки после внесения существенных изменений в контент, промпты, модели или SDK. Качество поиска информации может снизиться, даже если интерфейс аватара не изменился.
Типичные ошибки, которых следует избегать
- Вызов модели напрямую из браузера: это раскрывает учетные данные и ослабляет контроль доступа.
- Извлечение слишком большого объема контекста: объемные, неструктурированные промпты увеличивают задержку и могут снизить качество ответов.
- Позволять аватару выдумывать ответы: определите четкий сценарий для случаев, когда ответ неизвестен, и путь эскалации.
- Игнорирование очистки сессий: закрывайте заброшенные сессии и отслеживайте сбои, вместо того чтобы считать каждое соединение постоянным.
- Оценка только качества модели: пользователь воспринимает поиск, генерацию, речь, анимацию и сетевую задержку как единую систему.
Создание надежного аватара
Наиболее надежная архитектура предполагает разделение ответственности: ваш стек знаний и LLM определяет, что сказать, бэкенд обеспечивает безопасность и соблюдение политик, а AKOOL Streaming Avatar транслирует утвержденный ответ в виде цифрового человека в реальном времени. Начните с узкого, тщательно отобранного сценария использования, оценивайте весь диалог целиком и расширяйте функционал только после того, как механизмы обработки ошибок станут надежными.
Изучите SDK AKOOL Streaming Avatar или свяжитесь с AKOOL для обсуждения корпоративной интеграции.
