流媒体数字人如果能基于贵司自有信息进行回答，而非依赖通用模型，其价值将大幅提升。连接外部大语言模型（LLM）知识库最安全的方式是：将检索、模型调用、权限管理和答案验证保留在您的应用后端，然后使用一个 AKOOL 流媒体数字人 作为实时视觉对话层。
这种方法适用于检索增强生成（RAG）服务、向量数据库、企业搜索系统或智能体框架。它还能防止敏感凭据泄露到浏览器中，并让您的团队能够掌控数字人的发言内容。
简要说明
构建受控的连接流水线：
- 客户在您的应用中进行语音或文字输入。
- 您的后端识别用户身份，检索授权知识，并将基于事实的上下文发送给大语言模型。
- 您的应用对答案进行合规性、置信度和格式检查。
- 经审核的回复被发送至实时数字人会话中进行播报。
- 会话事件、引用来源、延迟和故障会被记录以供监控。
AKOOL 同样提供原生的知识库选项，可通过 knowledge_id 字段在创建实时数字人会话时使用。如果您的内容已存储在 AKOOL 中，此功能非常实用。如果您使用外部 RAG 技术栈，请将其视为应用层集成，切勿假设任何第三方数据库都可以直接作为 AKOOL 知识库 ID 使用。
开始前的准备工作
在构建对话流程前，请准备好以下四个组件：
- 精选知识源： 产品文档、政策、目录、支持文章或其他经审核的资料。
- 检索与大语言模型层： 一项能够搜索授权内容并生成带有可追溯来源上下文的回复的服务。
- 后端协调器： 该服务器负责存储凭据、创建数字人会话、应用访问规则并协调对话。
- 面向客户的界面： 用于展示数字人、捕获输入并处理连接状态的网页或移动端体验。
第一步：准备知识库以实现可靠检索
优质的数字人回答始于优质的源材料。请删除重复内容，归档过时的指令，并将长文档拆分为能保持语义完整的片段。添加产品、地区、语言、受众和生效日期等元数据，以便检索器在对结果进行排序前进行过滤。
确定每个用户可以访问哪些文档。公共访客、已认证客户和内部员工不应自动从同一集合中检索信息。在内容到达模型之前，请务必强制执行这些规则。
第二步：在后端创建数字人会话
使用服务器端端点进行 AKOOL 身份验证并创建实时数字人会话。该 创建会话 API 接受诸如数字人形象、语音、语言、时长、流媒体模式以及可选的本地知识库标识符等设置。
仅返回客户端所需的短期会话信息。切勿在浏览器代码中暴露 AKOOL 客户端密钥、LLM API 密钥或不受限制的数据库凭据。AKOOL 的 SDK 最佳实践 建议采用后端会话管理、短期令牌、结构化错误处理和日志记录。
第三步：通过您的 LLM 路由每一轮对话
当客户提出问题时，将转录内容或输入的文本发送到您的后端。后端应仅检索授权段落，构建重点明确的提示词，并指示模型根据所提供的证据进行回答。如果证据不足，模型应提出澄清问题或转接人工，而不是自行编造。
在交付前，应用您的用例所需的控制措施。常见的检查包括个人身份信息、禁止话题、合规用语、最大回答长度以及是否提供引用来源。简短、口语化的回答在视频中通常比长篇大论效果更好。
第四步：通过数字人交付回答
使用以下内容在客户界面中初始化数字人： AKOOL JavaScript SDK。该 SDK 使用实时通信并发出生命周期事件，您的界面可利用这些事件进行连接反馈、麦克风状态、消息历史记录和令牌过期处理。
将批准后的响应发送到活动会话，让数字人以选定的语音和语言进行呈现。在检索过程中保持视觉界面的响应性：显示“正在聆听”或“正在思考”的状态，允许用户取消，并在实时连接中断时提供文本备选方案。
基于智能体的替代方案
已在使用语音代理框架的团队可以将数字人集成到该架构中。AKOOL 发布了官方的 LiveKit Agent 集成指南 ，用于连接服务端代理与 AKOOL 流式数字人。在这种设计下，代理可以协调语音识别、大语言模型 (LLM)、外部工具和数字人，同时您的后端仍能掌控凭据和业务逻辑。
如何测试集成效果
测试内容不应仅限于数字人是否能发声。请使用包含直接事实、模糊请求、过时信息、受限文档、不支持的问题以及多种语言的问题集进行测试。对于每次测试，请记录：
- 是否检索到了正确的文档；
- 回答是否忠实于这些文档；
- 首次可见或可听响应的耗时；
- 中断、重连以及令牌过期时的表现；
- 是否触发了正确的后备方案或人工接管流程。
在内容、提示词、模型或 SDK 发生重大变更后，请重新运行上述检查。即使数字人界面未变，检索质量也可能出现偏差。
应避免的常见错误
- 直接从浏览器调用模型： 这会暴露凭据并削弱访问控制。
- 检索过多的上下文： 冗长且缺乏重点的提示词会增加延迟，并可能降低回答质量。
- 任由数字人编造答案： 请定义明确的“无法回答”处理机制和升级路径。
- 忽略会话清理： 应关闭废弃的会话并监控故障，而不是将每个连接都视为永久连接。
- 仅衡量模型质量： 用户将检索、生成、语音、动画和网络延迟视为一个整体系统体验。
构建扎实的数字人体验
最可靠的设计方案是职责分离：由您的知识库和 LLM 技术栈决定回答内容，由后端负责安全与策略管控，最后由 AKOOL 流式数字人将审核后的答案以实时数字人的形式呈现。建议从范围明确、经过精心策划的用例入手，评估完整的对话流程，待回退机制稳定后再进行扩展。
探索 AKOOL 流式数字人 SDK 或 联系 AKOOL 探讨企业级集成方案。
