[]
        
在线Demo 免费试用
(Showing Draft Content)

语言模型设置

1. 概述

该页面为系统提供统一的语言模型服务管理入口,系统管理员可以启用或关闭语言模型服务,启用语言模型服务须同时配置模型名称及语言模型API密钥 和 语言模型API地址。本系统兼容符合 OpenAI 接口规范的大语言模型。为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。常用模型推荐:qwen-turbo, qwen-max, qwen2.5-14b-instruct, deepseek-chat, deepseek-r1-distill-qwen-14b。

1.1 前提条件

产品授权中包含AI对话分析,系统设置列表显示AI设置项;如果产品授权不包含AI对话分析,那么系统设置列表不显示AI设置项,请联系销售人员购买授权。

2. 语言模型服务设置界面

由系统管理员登录后台管理界面,在系统设置列表选择AI设置,然后选择语言模型设置,启用语言模型服务开关,默认呈开启状态。但是其他配置项为空,需要系统管理员配置。

image

3. 配置语言模型服务

3.1 启用语言模型服务。如果是关闭状态,须先启用语言模型服务。

image

3.2 输入模型名称。请输入正确的模型名称,以确保语言模型服务正常运行,具体模型名称请参考模型的官方文档。本系统兼容符合 OpenAI 接口规范的大语言模型。为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。主流模型推荐清单:

通义千问系列:qwen-turbo, qwen-max, qwen2.5-14b-instruct

DeepSeek系列:deepseek-chat, deepseek-r1-distill-qwen-14b

3.3 输入API Key。请输入语言模型服务API的密钥,API密钥用于认证语言模型服务,请参考模型的官方文档。

3.4 输入API地址。请输入语言模型服务API接口地址,只需输入基础URL,无需额外填写/chat/completion,系统会自动处理完整路径,请参考模型的官方文档。以 Ollama 平台为例,正确设置:http://localhost:11434/v1。

3.5 配置完成后,点击保存更改,配置语言模型服务完成。用户可在文档门户的对话分析页面体验对话分析,也可以在仪表板设计器中体验对话分析。

image

4. 采用本地部署的模型

这里也可使用本地化部署的语言模型,建议采用Ollama部署的模型。Ollama 是一个用于在本地部署和运行大语言模型(LLMs)的工具,旨在降低使用 LLMs 的复杂性并提升隐私性和效率。它允许用户在本地机器上运行训练好的开源语言模型,而无需依赖外部 API 或云服务。

配置项

说明

模型名称

本地部署的模型名称。请输入正确的模型名称。如:qwen2.5:14b

API Key

ollama

API地址

http://localhost:11434/v1

type=info

提示:

如果使用的模型参数规模太小,对于对话分析来说,无法把请求读取完成,也就无法理解请求和要求,生成的结果无法达到预期。所以为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。

对于本地采用Ollama部署的模型,需要修改模型,具体步骤:

1. 请在命令行中执行如下命令

ollama show --modelfile  deepseek-r1:14b > Modelfile

2. 打开Modelfile这个文件,添加一个参数设定:PARAMETER num_ctx 32768

image

3. 继续在命令行中执行如下命令

ollama create deepseek-r1:14b-32k -f Modelfile

4. 配置项模型名称使用新的模型名称 deepseek-r1:14b-32k

5. 保存更改