[]
该页面为系统提供统一的语言模型服务管理入口,系统管理员可以启用或关闭语言模型服务,启用语言模型服务须同时配置模型名称及语言模型API密钥 和 语言模型API地址。本系统兼容符合 OpenAI 接口规范的大语言模型。为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。常用模型推荐:qwen-turbo, qwen-max, qwen2.5-14b-instruct, deepseek-chat, deepseek-r1-distill-qwen-14b。
产品授权中包含AI对话分析,系统设置列表显示AI设置项;如果产品授权不包含AI对话分析,那么系统设置列表不显示AI设置项,请联系销售人员购买授权。
由系统管理员登录后台管理界面,在系统设置列表选择AI设置,然后选择语言模型设置,启用语言模型服务开关,默认呈开启状态。但是其他配置项为空,需要系统管理员配置。
3.1 启用语言模型服务。如果是关闭状态,须先启用语言模型服务。
3.2 输入模型名称。请输入正确的模型名称,以确保语言模型服务正常运行,具体模型名称请参考模型的官方文档。本系统兼容符合 OpenAI 接口规范的大语言模型。为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。主流模型推荐清单:
通义千问系列:qwen-turbo, qwen-max, qwen2.5-14b-instruct
DeepSeek系列:deepseek-chat, deepseek-r1-distill-qwen-14b
3.3 输入API Key。请输入语言模型服务API的密钥,API密钥用于认证语言模型服务,请参考模型的官方文档。
3.4 输入API地址。请输入语言模型服务API接口地址,只需输入基础URL,无需额外填写/chat/completion,系统会自动处理完整路径,请参考模型的官方文档。以 Ollama 平台为例,正确设置:http://localhost:11434/v1。
3.5 配置完成后,点击保存更改,配置语言模型服务完成。用户可在文档门户的对话分析页面体验对话分析,也可以在仪表板设计器中体验对话分析。
这里也可使用本地化部署的语言模型,建议采用Ollama部署的模型。Ollama 是一个用于在本地部署和运行大语言模型(LLMs)的工具,旨在降低使用 LLMs 的复杂性并提升隐私性和效率。它允许用户在本地机器上运行训练好的开源语言模型,而无需依赖外部 API 或云服务。
配置项 | 说明 |
---|---|
模型名称 | 本地部署的模型名称。请输入正确的模型名称。如:qwen2.5:14b |
API Key | ollama |
API地址 | http://localhost:11434/v1 |
type=info
提示:
如果使用的模型参数规模太小,对于对话分析来说,无法把请求读取完成,也就无法理解请求和要求,生成的结果无法达到预期。所以为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。
对于本地采用Ollama部署的模型,需要修改模型,具体步骤:
1. 请在命令行中执行如下命令
ollama show --modelfile deepseek-r1:14b > Modelfile
2. 打开Modelfile这个文件,添加一个参数设定:PARAMETER num_ctx 32768
3. 继续在命令行中执行如下命令
ollama create deepseek-r1:14b-32k -f Modelfile
4. 配置项模型名称使用新的模型名称 deepseek-r1:14b-32k
5. 保存更改