- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
手册下载
H3C百业灵犀大模型使能平台 用户手册-E0101-5W100-整本手册.pdf (1.32 MB)
H3C百业灵犀大模型使能平台 用户手册
资料版本：5W100-20231220
Copyright © 2023 新华三技术有限公司 版权所有，保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
除新华三技术有限公司的商标外，本手册中出现的其它公司的商标、产品标识及商品名称，由各自权利人拥有。
本文中的内容为通用性技术信息，某些信息可能不适用于您所购买的产品。
目 录
H3C百业灵犀大模型使能平台（LinSeer Hub）聚焦模型推理及应用场景，旨在利用知识库、插件、提示词、推理服务等能力，为垂直行业客户提供安全、订制、独享、生长的模型推理服务，赋能百行百业，快速构建智能应用。
南向，大模型使能平台支持对接不同的平台和模型，屏蔽模型差异；北向，大模型使能平台提供统一的模型推理API。大模型使能平台可以适配不同的开源模型及商业模型，通过统一的模型管理、推理部署为大模型推理提供支持。
如图1-1所示，H3C百业灵犀大模型使能平台的推荐业务配置流程为：
(1) 执行南向配置，设置大模型提供的、供使能平台调用的API接口。
(2) 在“我的模型”页面，执行模型同步，将大模型同步至大模型使能平台，为推理服务的部署提供大模型能力支持。
(3) 部署模型的推理服务实例。
(4) 在“API管理”页面，为推理服务创建API。
(5) 在“应用管理”页面，将API绑定到应用上。大模型使能平台通过提供应用的方式，让用户能够利用大模型资源执行推理任务。
(6) 可以通过以下方式增强应用的能力：
¡ 设置提示词：通过设计和优化大模型的Prompt来提高大模型的表现，使其能够准确、可靠地回答问题或执行特定任务。
¡ 挂载知识库：知识库作为大模型的知识补充，存储行业知识，同时也可以作为长期记忆存储用户使用过程中的数据。
¡ 绑定插件：插件（Plugin）是大语言模型的能力扩展，通过引入外部插件能力，结合大模型推理能力，可以更好地帮助用户落地行业应用。
LinSeer Hub安装部署完成后，在浏览器地址栏中输入LinSeer Hub的登录地址，进入LinSeer Hub登录页面，如图2-1所示。其中，登录地址格式为：http://ip_address:37077，登录IP为“LinSeer Hub的集群北向业务虚IP”，默认登录的用户名/密码为admin/Admin@h3c。
用户名、密码输入完成后，点击<立即登录>按钮，进入LinSeer Hub平台总览页面，如图2-2所示。总览页面展示了使能平台支持的主要功能及功能服务使用情况，如提示词、推理服务；点击总览页面右上角的调色盘图标
，可以更改使能平台的显示风格；点击总览页面右上角的帮助图标
，可以进入帮助中心，查看页面的联机帮助；点击总览页面右上角的用户图标
，可以修改用户的密码、查看使能平台的版本信息、退出当前登录。
图2-2 百业灵犀大模型使能平台总览页面
我的模型用来将傲飞或百业灵犀大模型同步至大模型使能平台，为推理服务的部署提供大模型能力支持。
在我的模型页面，用户可以同步模型和查看模型信息。
图3-1 百业灵犀大模型使能平台我的模型页面
无法修改和删除同步至大模型使能平台的大模型。
· 查询模型
在页面上方搜索栏中输入或选择搜索条件，然后单击<搜索>按钮，页面会仅显示满足搜索条件的模型。如需清除所有查询条件，显示所有模型，请单击<重置>按钮。
· 同步模型
与傲飞平台或百业灵犀大模型产品建立连接后，单击<同步模型>按钮，可以将傲飞或百业灵犀大模型同步至大模型使能平台使用。与傲飞平台或百业灵犀大模型产品建立连接的配置过程，请参见《H3C百业灵犀大模型使能平台 安装部署指导》。
图3-2 百业灵犀大模型使能平台同步模型
· 查看版本信息
单击模型列表“操作”列的<版本>按钮，即可跳转到对应版本页面中，查看指定大模型的版本信息和超参信息。
· 查看模型详情
点击模型列表“模型名称”列的连接，在弹出的对话框中，可以查看模型详情：
¡ 在“模型详情”页签中，可以查看模型的基本信息以及版本信息。
¡ 在“模型血缘”页签中，可以查看与当前模型相关的训练后模型。
模型API是指第三方供应商为他们开发的AI大模型提供的外部接口，大模型使能平台通过该接口建立连接后，就可以使用第三方供应商的AI大模型能力，部署自己的推理服务。
模型API页面为用户展示系统预置的模型API，用户可以查看模型API的相关信息。
图3-3 百业灵犀大模型使能平台模型API页面
· 查询模型
在页面上方的搜索栏中，输入搜索条件，然后单击<搜索>按钮，页面将仅显示符合搜索条件的模型API。如需清除所有查询条件，显示所有模型API，请单击<重置>按钮。
· 查看模型API参数
单击模型API列表“操作”列的<参数>按钮，在弹出的参数详情对话框中，可以查看模型API的参数详细信息。
推理部署功能是指使用大模型资源部署推理服务，以提供推理功能。
在推理部署页面，用户可以新增、修改、删除、部署、扩缩容、重启和查看推理服务。
图3-4 百业灵犀大模型使能平台推理部署页面
· 推理服务创建完成后，只能修改服务名称和服务描述。如需修改已创建服务的其它配置，请删除推理服务后重新增加。
· 在删除推理服务前，需要确保没有API正在使用该推理服务。
· 推理实例的部署类型选择为“模型API”时，只支持删除和查看API接口操作。
· 查询推理服务
· 在页面上方搜索栏中输入或选择搜索条件，然后单击<搜索>按钮，页面会仅显示满足搜索条件的推理服务。如需清除所有查询条件，显示所有模型，请单击<重置>按钮。
· 新增服务
a. 单击<新增>按钮，弹出“新增服务”对话框。
b. 在“基本信息”区域，填写推理服务名称，根据推理服务应用的场景选择推理服务的类型，然后根据需要可以选择性填写推理服务的描述。
c. 在“模型配置”区域，选择推理服务的部署类型：
- 基础模型：使用傲飞或百业灵犀大模型的资源部署推理服务。在此类型下，用户需要选择模型、模型版本和模型部署的平台，并在“资源配置”区域分配推理服务可以使用的大模型资源。
- 模型API：使用模型API请求到的第三方大模型资源部署推理服务。在此类型下，用户需要选择模型、模型版本，并填写API接口的服务地址。
d. 如果使用基础模型部署，请直接单击<确定>按钮，系统会先校验配置资源，校验通过后完成推理服务的新增。如果使用模型API部署，请先单击<测试>按钮对API接口进行连接测试，测试通过后再单击<确定>按钮，完成推理服务的新增。
· 更新服务
单击推理服务列表“操作”列的<更新>按钮，在弹出的对话框中可以修改服务名称和服务描述。
· 部署服务
单击推理服务列表“操作”列的<部署>按钮，将未部署的服务进行部署。
· 释放服务资源
单击推理服务列表“操作”列的<释放>按钮，会释放指定推理服务部署所用的资源。
· 重启服务
单击推理服务列表“操作”列的<重启>按钮，可以对运行中但状态异常的推理服务进行重启。
· 删除服务
单击推理服务列表“操作”列的<删除>按钮，删除指定的推理服务。
· 扩缩容
单击推理服务列表“操作”列的<扩缩容>按钮，可以进行增加或减少推理服务中的服务实例数量。
· 查看API
单击推理服务列表“操作”列的<API接口>按钮，可以查询指定推理服务已绑定的API列表。
· 查看服务信息
点击推理服务列表“服务名称”列的连接，可以查看推理服务的详细信息。
在大模型使能平台上可以为推理服务创建API，用户通过API接入后，可以使用API绑定的推理服务资源。
API管理页面用于管理为推理服务创建的API，用户可以新增、修改、删除、应用API以及查看API信息。
图3-5 百业灵犀大模型使能平台API管理页面
删除API前，需要先删除该API与所有应用的绑定关系。
· 查询API
在页面上方搜索栏中输入或选择搜索条件，然后单击<搜索>按钮，页面会仅显示满足搜索条件的API。如需清除所有查询条件，显示所有API，请单击<重置>按钮。
· 新增API
单击<新增>按钮，在弹出的对话框中，配置如下内容：
a. 在“API名称”输入框，输入API名称。
b. 在“API类型”下拉框中，选择API类型，该类型决定了用户能够通过API使用推理服务实现的功能的类型。选择类型后，“接口地址”输入框会自动关联填入API对外呈现的接口IP地址。
c. 在推理服务下拉框中，选择API绑定的推理服务。可以通过点击增加按钮为API绑定多个推理服务。
d. 在“平台QPS”输入框中，输入API能够支持的每秒最大请求数。
e. 在“API状态”选择项中，选择是否启用API。
f. （可选）在“描述”输入框中，输入API描述。
g. 单击<确定>按钮，完成API新增。
· 修改API
单击API列表“操作”列的<修改>按钮，可以在弹出的对话框中修改除API类型和接口地址外的其他API信息。
· 删除API
单击API列表“操作”列的<删除>按钮，删除指定的API。
· 查看应用
单击API列表“操作”列的<应用>按钮，查看指定API绑定的应用列表。
· 查看API信息
单击API列表“API名称”列的连接，可以查看指定API的基本信息和其绑定的推理服务列表。
百业灵犀大模型使平台获取了大模型处理能力后，可以将其部署为推理服务，并创建对应的API，随后将API绑定到应用上，通过提供应用的方式，让用户能够利用大模型资源执行推理任务。
应用管理页面用于管理应用，用户可以新增、修改、删除、接口、通知和历史通知，并可以查看应用的详情信息。
图3-6 百业灵犀大模型使能平台应用管理页面
删除应用前，必须先解除该应用与所有API的绑定关系。
· 查询应用
在页面上方搜索栏中输入或选择搜索条件，然后单击<搜索>按钮，页面会仅显示满足搜索条件的应用。如需清除所有查询条件，显示所有应用，请单击<重置>按钮。
· 新增应用
a. 单击<新增>按钮，在弹出的“添加应用”对话框中，输入应用名称，选择应用类型和应用状态，并根据需要填写应用的描述信息。需要注意的是，选择的应用类型必须要与其想要绑定的API类型一致。
b. 单击<确定>按钮，完成应用新增。
· 修改应用
单击应用列表“操作”列的<修改>按钮，可以修改应用的配置。
· 删除应用
单击应用列表“操作”列的<删除>按钮，删除指定的应用。
· 绑定接口
本功能用于将应用与API进行绑定：
a. 单击应用列表“操作”列的<接口>按钮，在弹出的对话框中展示了当前绑定的API列表。
b. 单击<添加API>按钮，在弹出的对话框中展示了当前已创建的API列表。在API列表的最左侧勾选API。需要注意的是，同一类型的API只能勾选一个。
c. 单击<确定>按钮，完成应用与已勾选API的绑定。
d. 绑定API后，可以对已绑定的API执行以下操作：
- 单击已绑定API列表“操作”列的<编辑>按钮，可以在“开启增强会话”列选择是否开启增强会话，在“访问频率”列输入用户在一分钟内允许通过该API进行访问的最大次数，在“访问次数”列输入允许用户通过该API进行访问的总次数。完成编辑后，单击已绑定API列表“操作”列的<保存>按钮来保存修改。开启增强会话功能后，推理服务的的交互能力和理解能力会得到提升，可以更加适应人类的对话方式，从而更好地进行自然语言理解和生成。但是需要注意的是，开启增强会话后，就不能再为该API挂载知识库，反之亦然。
- 单击已绑定API列表“操作”列的<删除>按钮，解除应用与API的绑定关系。
- 单击已绑定API列表“操作”列的<提示词>按钮，在弹出的对话框中勾选若干个提示词，然后单击<确定>按钮完成提示词绑定。提示词可以指引用户与AI应用进行交互，指示了触发特定功能需要下达的指令。完成提示词绑定后，可以点击已绑定API列表“提示词”列的链接，在弹出的对话框中查看指定API已绑定的提示词，并且可以通过单击<删除>按钮删除已绑定的提示词。
- 单击已绑定API列表“操作”列的<插件>按钮，在弹出的对话框中勾选若干个插件，然后单击<确定>按钮完成插件安装。插件用于增强推理服务特定领域的能力。完成插件安装后，可以点击已绑定API列表“插件”列的链接，在弹出的对话框中查看指定API已安装的插件，并且可以通过单击<删除>按钮删除已安装的插件。
- 单击已绑定API列表“操作”列的<知识库>按钮，在弹出的对话框中勾选若干个知识库，然后单击<确定>按钮完成知识库的挂载。知识库中包含各类信息，推理服务在知识库中进行信息检索后，可以更好地进行推理和决策。完成知识库挂载后，可以点击已绑定API列表“知识库”列的链接，在弹出的对话框中查看指定API已挂载的知识库，并且可以通过单击<删除>按钮删除已挂载的知识库。
· 发送通知
单击应用列表“操作”列的<通知>按钮，可以将指定应用的APP Key和APP Scret，通过邮件形式发送给指定使用者。
· 查看历史通知信息
单击应用列表“操作”列的<历史通知>按钮，在弹出的对话框中查看历史发送的应用通知信息，并且可以进行通知重发。
知识库是一个集合了特定领域或主题的知识和信息的管理数据库，将知识库挂载到服务中，可以为服务提供知识库的实时的查询和检索功能，以便服务能够根据用户需求进行相关性匹配、数据检索和知识推理等操作。
知识库列表用户管理百业灵犀大模型使能平台使用的知识库，用户可以新增、修改和删除知识库，为知识库上传文件，以及查看知识库详情。
图4-1 百业灵犀大模型使能平台知识库列表页面
· 知识库列表创建完成后，需要在该知识库中上传数据文件，否则无法正常使用该知识库。在知识库中仅支持上传.doc、.docx、.pdf、.md、.ppt、.pptx和.txt类型的文件，且单个文件不能超过20MB，单次不能上传超过100个文件。
· 删除知识库前，请确保没有应用在使用该知识库。
· 知识库创建完成后，不能修改该知识库的分类和向量模型。
· 查询知识库
在页面上方搜索栏中输入或选择搜索条件，然后单击<搜索>按钮，页面会仅显示满足搜索条件的知识库。如需清除所有查询条件，显示所有知识库，请单击<重置>按钮。
· 新增知识库
单击<新增>按钮，在弹出的对话框中，输入知识库名称，选择知识库分类，并填写和选择知识库配置参数，然后单击<确定>按钮，完成知识库新增。需要注意的是，知识库分类并不影响知识库的具体功能，仅作为一个本地增加知识库标识度的信息。
· 修改知识库
单击知识库列表“操作”列的<修改>按钮，在弹出的对话框中，可以修改知识库名称以及配置参数。
· 删除知识库
单击知识库列表“操作”列的<删除>按钮，删除指定的知识库。
· 上传数据文件，处理数据
a. 单击知识库列表“操作”列的<文件>按钮，进入文件页面。
b. 上传文件，存在两种文件上传方式：
- 选择文件：单击<选择文件>按钮，选择本地的指定文件进行上传。
- 选择文件夹：单击<选择文件夹>按钮，将本地选定的文件夹下所有符合格式要求的文件进行上传。
c. 完成文件上传后，单击文件列表“操作”列的<解析>按钮，对文件进行解析。解析完成后，系统才能对数据文件进行分片，以供推理服务进行检索。
d. 单击文件列表“操作”列的<策略配置>按钮，在弹出的对话框中对文件的分片策略参数进行配置。
e. （可选）单击文件列表“操作”列的<分片内容>按钮，查看数据文件分片后的情况。
f. （可选）单击文件列表“操作”列的<删除>按钮，删除指定的数据文件。
图4-2 百业灵犀大模型使能平台知识库文件处理页面
· 查看知识库详细信息
点击知识库列表“知识集名称”列的链接，可以查看知识库详细信息。
表4-1 新增知识库配置参数说明
|
参数 |
说明 |
|
向量模型 |
知识库将文本编码为向量使用的模型。目前支持text2vec-large-chinese模型，适用于中文的文本分类和情感分析、以及相似性匹配场景。此模型使用的缺省向量维度为1024 |
|
维度 |
在大语言模型中，文本被编码为向量的过程是通过将每个单词、短语或句子映射到一个固定长度的向量来实现的。这些向量的长度是一个固定的值，称为向量维度。设置较小的向量维度可能不足以捕捉到复杂的语义关系，导致信息丢失或精度下降。而较大的向量维度则会增加计算和存储的成本，并可能导致模型过拟合或训练困难。建议使用缺省的向量维度 |
|
索引类型 |
推理服务在对知识库中的数据进行检索时，使用的检索方式 |
|
度量标准 |
表示知识库使用什么样的标准来判断向量之间的相似度。目前仅支持使用余弦举例来作为度量标准 |
|
默认召回条数 |
推理服务在对知识库进行查询的过程中，默认返回的最大结果数量 |
|
响应模式 |
检索知识库后，推理服务对推理任务的响应模式： · 正常模式：未检索到知识库相关内容时，继续由大模型进行推理任务 · 严格模式：未检索到知识库相关内容时，直接返回提示 |
|
召回文本块大小 |
在知识库中检索时返回的单个文本块的大小 |
|
是否返回文件信息 |
是否返回检索到内容的出处文件信息 |
|
距离阈值 |
在知识库中进行检索时，返回的结果与查询文本间的相似性。距离阈值越高，检索结果越精确；距离阈值越低，检索结果越模糊 |
|
提示词 |
提示词用于辅助用户更准确地表达其需求，帮助系统理解用户的意图，从而提供更精准的搜索结果或服务。 |
表4-2 文件切分策略配置参数说明
|
参数 |
说明 |
|
文本切分策略 |
知识库使用何种方式对文本进行切分： · 通用符号：根据通用符号（比如空格、标点符号等）对文本进行切分 · 长度：根据指定的长度限制对文本进行切分 · 自定义符号：根据用户自行选择或定义的符号对文本进行切分，只有此方式下，才可以选择对召回文本块不进行拼接，其他两种方式默认进行拼接 |
|
召回文本拼接模式 |
将召回文本进行拼接的方式 |
知识库检索功能通过检索条件匹配出知识库中的相似文本块，并进行显示。
图4-3 百业灵犀大模型使能平台知识库检索界面
选择和填写完检索参数后，单击<检索>按钮，可以查看知识库中与检索内容相匹配的内容。
单击<清空>按钮，可以清空当前检索内容。
表4-3 知识库检索参数说明
|
参数 |
说明 |
|
默认召回条数 |
推理服务在对知识库进行查询的过程中，默认返回的最大结果数量 |
|
距离阈值 |
在知识库中进行检索时，返回的结果与查询文本间的相似性。距离阈值越高，检索结果越精确；距离阈值越低，检索结果越模糊。 |
自定义模板用来定义提示词模板。提示词模板可以用于以下场景：
· 与应用绑定，以提升模型回答的质量。
· 用于会话调试。在会话调试时绑定提示词模板进行对话。
图5-1 百业灵犀大模型使能平台自定义模板页面
如果自定义的提示词模板与应用绑定，则不允许删除该提示词模板。需要先解除提示词模板与所有应用的绑定，才可以删除该提示词模板。
· 新增自定义模板
单击<新增>按钮，根据需要填写模板名称、选择预置模板、行业场景、模板描述、提示词内容，单击<确定>按钮，完成新增自定义模板操作。
· 修改自定义模板
单击自定义模板对应操作列的“修改”按钮，即可修改自定义模板信息。
· 删除自定义模板
单击自定义模板对应操作列的“删除”按钮，删除指定的自定义模板。
· 查看模板的应用
单击自定义模板对应操作列的“应用”按钮，进入到已绑定应用页面，可以查看当前自定义模板绑定的应用列表信息。
· 查看模板详情
单击自定义模板对应操作列的模板名称，可以查看自定义模板的详细信息。
表5-1 新增自定义模板参数说明
|
参数 |
说明 |
|
模板名称 |
自定义模板的名称。 |
|
预置模板 |
系统内置的预置模板。选择预置模板后，可以直接使用该预置模板的提示词内容。 |
|
行业场景 |
自定义模板适用的行业场景，分为医疗、教育、政府等行业场景。 |
|
模板描述 |
自定义模板的描述信息。 |
|
提示词内容 |
根据需求填写提示词内容，可直接引用预置模板内容或者在预置模板内容上进行修改。 单击<插入参数>按钮，可以在提示词中的光标位置添加参数。用户输入的内容将作为参数添加到提示词中。 |
预置模板中包括系统预先为多种场景设置的提示词。自定义提示词模板引用预置模板后，可以直接使用预置模板中的提示词，也可以在该提示词的基础上进行修改，以提高自定义提示词模板的效率和准确率。
图5-2 百业灵犀大模型使能平台预置模板页面
预置模板为系统内置模板信息，无法进行新增、修改和删除。
查看预置模板详情：点击预置模板对应操作列的模板名称，可以查看预置模板的详细信息。
表5-2 预置模板详情参数说明
|
参数 |
说明 |
|
模板名称 |
预置模板的名称。 |
|
行业场景 |
预置模板适用的行业场景，分为医疗、教育、政府等行业场景。 |
|
创建人 |
创建该预置模板的用户 |
|
创建时间 |
预置模板的创建时间 |
|
模板描述 |
预置模板的描述信息。 |
|
提示词内容 |
预置模板的提示词内容。在会话交互的Prompt中，content会替换为用户输入的内容 |
插件是添加到LLM（Large Language Model，大语言模型LLM）中、用来扩展LLM功能或简化与特定应用程序集成的组件或工具。插件可以帮助用户快速构建LLM应用，或将LLM集成到自建程序中。插件与模型服务协同工作，可以为用户提供更多种类、更高质量的服务，例如：
· 检索实时信息，如本地天气，体育比分、股票价格等。
· 检索知识库信息，如公司文件、个人笔记等。
· 代表用户执行操作，如订机票、订餐等。
插件通过API（Application Programming Interface，应用程序接口）与LLM交互。LLM是插件API的智能调用者，它通过插件的API描述，来判断并主动调用插件API来执行操作。例如，如果LLM上添加了查询天气插件，那么当用户问“今天的天气怎么样？”时，LLM不会回答它不掌握实时信息了，而是会通过API调用天气相关的插件，然后根据插件的数据生成面向用户的答案。
图6-1 百业灵犀大模型使能平台插件库页面
· 在“插件调试”页面中输入的请求地址必须是具体的URL地址，包括协议头（http或https）、接口路径。
· 目前，插件调试仅仅支持GET和POST请求方式。
· 新增插件
单击<新增>按钮，输入插件名称、模型插件名称、认证类型等信息，单击<确定>按钮，完成新增插件操作。
· 修改插件
点击插件对应操作列的“修改”按钮，修改插件名称、模型插件名称、认证类型等信息，单击<确定>按钮，完成修改插件操作。
· 删除插件
点击插件对应操作列的“删除”按钮，可以删除指定的插件。
· 停用插件
点击插件对应操作列的“停用”按钮，可以停用指定的插件。
· 配置插件
点击插件对应操作列的“配置”按钮，可以对插件的如下信息进行配置：
¡ 插件的基本信息：包括插件对应的请求地址和请求方式（GET或POST）。
¡ 请求Params：发送给插件的请求消息中携带的参数，包括字段名称和字段描述。
¡ 请求Body：发送给插件的请求消息中携带的消息体，包括字段名称、字段描述和字段类型。
¡ 响应Response：插件回应的响应消息中携带的内容，包括字段名称、字段描述和字段类型。
· 调试插件
点击插件对应操作列的“调试”按钮，输入插件的请求方式（GET或POST）、请求地址、请求消息头、请求消息参数和请求消息体后，单击<发送>按钮，可以对插件的功能进行调试。插件的响应结果将显示在响应结果框中。
表6-1 插件参数说明
|
参数 |
说明 |
|
插件名称 |
面向用户的插件名称。 |
|
模型插件名称 |
面向模型的插件名称。 |
|
认证类型 |
插件的认证方式，取值包括： · 无认证：使用插件时，无需进行身份验证。 · Token认证；使用插件时，需要进行Token认证。即，发送给插件的请求消息中携带Token，插件对该Token进行合法性验证，只有验证通过，才允许使用该插件。 |
|
认证Token |
用于身份认证的Token值。 |
|
插件类型 |
插件所属的分类，如通用插件、行业插件。 |
|
插件描述 |
面向用户的插件描述信息。 |
|
模型插件描述 |
面向模型的插件描述信息。 |
|
Logo |
插件使用的Logo图标。 |
服务编排用来快速构建自定义的LLM应用的工作流程。用户可以通过简单的图形元素拖拽，将LLM应用的API配置到工作流程中，实现LLM应用的快速构建。
图6-2 百业灵犀大模型使能平台服务编排页面
拖拽到服务流设计页面上的流程节点，只有测试无误后，才能进行预览调试。
· 新增服务流
单击<新增>按钮，输入服务流名称和服务流描述信息，单击<确定>按钮，完成新增服务流操作。
· 修改服务流
点击服务流对应操作列的<修改>按钮，输入服务流名称和服务流描述信息，单击<确定>按钮，完成修改服务流操作。
· 删除服务流
点击服务流对应操作列的“删除”按钮，可以删除指定的服务流。
· 设计服务流
点击服务流对应操作列的“设计”按钮，可以进入服务流设计页面。服务流设计页面支持如下操作：
¡ 选择所需流程节点，将其拖拽到工作流程编排框，并设置参数后，可以对该流程节点进行测试、预览和发布。
¡ 可以拖拽多个流程节点，通过链输入和链输出将多个流程节点连接起来。
¡ 将编排完成的工作流程导出到文件中。
¡ 从文件中导入已有的工作流程。
¡ 设置应用的引导语、推荐问题等。
¡ 保存工作流程。
¡ 查看错误日志。
图6-3 百业灵犀大模型使能平台服务编排设计页面
插件说明对插件进行介绍，描述了插件开发创建的基本流程，以帮助用户理解和使用插件。
图6-4 百业灵犀大模型使能平台插件说明页面
评估任务用来对模型的精确度、效率、稳定性等性能进行评价和测试，以确定模型是否能够满足预定的性能目标。用户可以根据评估结果来了解模型的弱点，从而对模型进行优化、提升性能、提高模型的安全性和可靠性。
在评估任务页面，用户可以新增、修改、删除、立即执行和查看评估任务详情，导入评估任务的数据集。
图7-1 百业灵犀大模型使能平台评估任务页面
· 评估任务创建完成后，需要进入数据集页面导入数据，否则无法执行评估任务。
· 执行中的评估任务不能删除。
· 评估任务创建完成后，只能修改评估任务名称和描述信息。如需修改已创建评估任务的其它信息，只能删除后重新创建。
· 评估任务最多支持对3个推理服务的评估结果进行对比，即在创建评估任务时最多选择3个推理服务。
· 对于已经完成的评估任务，可以单击评估任务对应操作列的“立即执行”按钮，再次执行该评估任务。新的评估结果会覆盖之前的评估结果。
· 创建任务创建后，若已到达或已过执行时间，且已导入评估任务的数据集，则评估任务会自行启动。
· 若再次导入已经存在的评估任务的数据集，则新的数据集会覆盖之前的数据集，评估任务会重新开始执行。
· 新增评估任务
单击<新增>按钮，设置评估任务的名称、执行时间、描述信息，选取要评估的推理服务，并设置temperature和知识库信息后，单击<确定>按钮，完成新增评估任务操作。
· 修改评估任务
单击评估任务对应操作列的“修改”按钮，即可修改评估任务名称和描述信息。
· 删除评估任务
单击评估任务对应操作列的“删除”按钮，删除指定的评估任务。
· 立即执行评估任务
单击评估任务对应操作列的“立即执行”按钮，可以执行当前评估任务。
· 数据集操作
单击评估任务对应操作列的“数据集”按钮，进入到数据集内容页面。
¡ 单击<导入>按钮，根据需要下载模板并上传数据集文件。
¡ 单击<导出>按钮，可以将当前数据集的内容导出到文件中。
¡ 在数据集内容页面，可以查看已完成的评估任务下各推理服务的回答内容，单击问题名称可查看全部内容。
表7-1 新增评估任务参数说明
|
参数 |
说明 |
|
任务名称 |
评估任务的名称。 |
|
执行时间 |
评估任务的执行时间。 |
|
任务描述 |
评估任务的描述信息。 |
|
推理服务 |
当前可用的推理服务，可最多选择3个服务。 |
|
temperature |
推理服务输出内容的随机性。 |
|
知识库 |
选择知识库后，服务会挂载知识库进行输出。 |
评估结果用来对模型的回答进行可视化展示。在评估结果页面，可以直观地看出各模型在当前数据集下的性能结果。
图7-2 百业灵犀大模型使能平台评估结果页面
任务列表中，只显示已完成的评估任务。
查看评估结果：
· 选择一个评估任务后，页面直接展示出评估结果折线图。
· 可点击左右箭头进行翻页展示。
· 可鼠标悬浮查看当前项的问题。
· 可选择每页显示的评估结果的条数。
会话调试功能用来对模型、Prompt等进行调试。
图8-1 百业灵犀大模型使能平台会话调试页面
只能选择正常运行的模型进行调试。
· 创建、编辑、删除会话窗口
¡ 单击<创建新建会话>按钮，添加新的会话聊天窗口。
¡ 选中一个会话，点击会话上的编辑图标，可以编辑会话窗口名称。
¡ 选中一个会话，点击会话上的删除图标，可以删除当前选中的会话窗口，同时会删除该会话窗口的会话历史内容。
· 模型配置
¡ 点击“模型”页签，选择需要调试的模型。如果需要调试多个模型，可以点击添加图标，选择多个模型同时进行问答。
¡ 勾选<单轮会话>复选框后，模型将不结合上下文直接进行问题回答；否则，模型将默认联想上下文的5个问题对进行问题回答。
¡ 勾选<开启流式输出>复选框后，模型将以流式接口返回回答内容。
· Prompt配置
Prompt配置包括Prompt模板、知识集和增强会话三个功能。目前，只能从三个功能中选择一个进行配置。
¡ 选择Prompt模板：选定系统预置模版后自定义模版后，System Prompt框中会显示具体的提示词内容，可以在System Prompt框中编辑该提示词。
¡ 选择知识集：选择知识集后，模型将优先根据知识集搜索对应问题的答案。如果在知识集中未匹配到相关问题的答案，则以默认回答输出。在知识集中，可以设置距离阈值、是否返回参考的文件信息。
¡ 开启增强会话：开启该功能后，模型将优化回答内容，根据最匹配问题的答案输出内容。
· 高级配置
在高级配置页面，可以设置模型的Temperature和top_p。Temperature和top_p是两种调节模型输出随机性的超参数。建议不要同时调整这两个参数。
¡ Temperature：用于控制生成过程的随机性或确定性。较高的Temperature值将使输出更加随机，更加多样化；较低的Temperature值将使输出更加集中和确定。
¡ top_p：采样方法，它基于累积概率来选择下一个词。具体来说，它会考虑一个最小集合的候选词，这个集合的累积概率至少达到top_p的值。例如，如果top_p设为0.9，那么在生成下一个词时，模型会考虑累积概率加起来至少是90%的那些候选词。Top_p的数值越小结果确定性越强；数值越大，结果越随机。
· 停止会话
模型回答内容未结束时，可以点击<停止会话>按钮，停止模型回答。
· 重新生成
模型回答完毕后，可以点击<重新生成>按钮，以上次模型配置和问题重新回答。
授权管理页面主要用来配置系统授权，支持临时授权和license授权两种授权方式。
图9-1 百业灵犀大模型使能平台授权管理页面
· 首次登录系统，默认采用临时授权方式。临时授权到期后，必须进行License授权才能继续使用使能平台。
· 通过License授权后，不能切换到临时授权方式。
· License授权方式下，需要先断开连接才能修改授权信息。断开连接后，为确保系统授权能正常使用，请及时进行授权连接。
· License授权连接成功后，必须重新登录使能平台。
首次登录系统，默认使用临时授权。临时授权到期后，必须进行License授权才能继续使用使能平台。
· 授权连接License Server
a. 选择“授权类型”为“License授权”。
b. 输入License Server的IP地址、授权端口号、客户端名称、客户端密码。
c. 填写完授权信息后，单击<授权连接>按钮进行授权。授权连接成功后，页面上会显示License Server授权信息和节点信息。
· 断开连接
单击<断开连接>按钮，与License Server断开连接，断开后已申请的License Server授权全部释放。
· 更新授权信息
单击<更新>按钮，更新授权信息和节点信息。
表9-1 License授权参数说明
|
参数 |
说明 |
|
授权类型 |
包含两种授权类型： · 临时授权：用户首次登录系统时，默认使用临时授权。 · License授权：通过License Server进行授权。 |
|
IP地址 |
License Server的IP地址 |
|
授权端口号 |
License Server的授权服务端口号（1024～65535） |
|
客户端名称 |
License Server配置的客户端名称，固定为“apiadmin” |
|
客户端密码 |
License Server配置的客户端对应的密码，固定为“apiadmin@h3c” |
内容安全配置通过设定黑名单和白名单关键字，来过滤模型提问和回答的内容，以提高系统的安全性。
图9-2 百业灵犀大模型使能平台内容安全配置页面
· 新增内容安全配置
单击<新增>按钮，选择内容类型，并输入过滤内容和描述信息后，单击<确定>按钮，即可完成新增内容安全配置操作。
内容过滤支持黑名单和白名单两种类型：
¡ 黑名单：模型提问和回答中不允许包括黑名单的内容。
¡ 白名单：模型提问和回答中允许包括白名单的内容。
· 修改内容安全配置
单击内容安全配置对应操作列的“修改”按钮，可以修改内容安全配置。
· 删除内容安全配置
单击内容安全配置对应操作列的“删除”按钮，可以删除指定的内容安全配置。
日志管理功能记录了百业灵犀大模型使能平台运行过程中产生的各类日志，包括操作日志、登录日志、API调用日志、平台接口调用日志以及插件日志。
图9-3 百业灵犀大模型使能平台日志管理页面
· 操作日志
操作日志记录了操作员在百业灵犀大模型使能平台中进行操作时产生的日志信息。
操作日志可以在操作日志页面通过搜索功能进行过滤查看，也可以在操作日志列表的“操作”列点击<详情>按钮查看指定操作日志的详细信息。
在操作日志列表第一列勾选若干个操作日志，然后单击<删除>按钮，可以删除勾选的操作日志。
· 登录日志
登录日志记录了用户登录或登出百业灵犀大模型使能平台时生成的日志信息。
登录日志可以在登录日志页面通过搜索功能进行过滤查看。
在登录日志列表第一列勾选若干个登录日志，然后单击<删除>按钮，可以删除勾选的登录日志。
· API调用日志
API调用日志记录了百业灵犀大模型使能平台创建的API被调用时产生的日志信息。
API调用日志可以在API调用日志页面通过搜索功能进行过滤查看。
· 平台接口调用日志
平台接口调用日志记录了百业灵犀大模型使能平台向其他大模型平台调用资源时产生的日志信息。
平台接口调用日志可以在平台接口调用日志页面通过搜索功能进行过滤查看。
· 插件日志
插件日志记录了百业灵犀大模型使能平台部署的插件被调用时产生的日志信息。
插件日志可以在插件日志页面通过搜索功能进行过滤查看。
南向配置用来设置傲飞平台和百业灵犀平台提供的、供使能平台调用的API接口。
图9-4 百业灵犀大模型使能平台南向配置页面
设置的API接口地址必须是全路径地址（包含协议头http或https、请求地址）。
· 新增南向配置
单击<新增>按钮，输入接口名称、接口地址、平台类型、请求方式和操作类型等信息，单击<确定>按钮，即可完成新增南向配置操作。
· 修改南向配置
单击南向配置对应操作列的“修改”按钮，可以修改南向配置。
· 删除南向配置
单击南向配置对应操作列的“删除”按钮，可以删除指定的南向配置。
表9-2 南向配置参数说明
|
参数 |
说明 |
|
接口名称 |
API接口名称。 |
|
接口地址 |
模型为使能平台提供的API接口的地址。 |
|
平台类型 |
模型的类型。 |
|
请求方式 |
向模型发送请求的方式，包括GET、POST等。 |
|
操作类型 |
使能平台执行的操作的类型，包括推理资源池查询、获取Token等。 |
|
备注 |
API接口的备注信息。 |
支持
