• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 关于我们

H3C百业灵犀大模型使能平台 用户手册-E0301-5W100

手册下载

H3C百业灵犀大模型使能平台 用户手册-E0301-5W100-整本手册.pdf  (1.92 MB)

  • 发布时间:2024/12/23 19:33:14
  • 浏览量:
  • 下载量:

H3C百业灵犀大模型使能平台 用户手册

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

资料版本:5W100-20241219

 

Copyright © 2024 新华三技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。

除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。

本文中的内容为通用性技术信息,某些信息可能不适用于您所购买的产品。


 

1 概述·· 1-1

1.1 产品简介·· 1-1

1.2 业务配置流程·· 1-1

2 登录LinSeer Hub平台页面·· 2-1

3 推理服务·· 3-1

3.1 我的模型·· 3-1

3.1.1 功能简介·· 3-1

3.1.2 主要功能·· 3-1

3.2 模型API 3-2

3.2.1 功能简介·· 3-2

3.2.2 主要功能·· 3-3

3.3 推理部署·· 3-3

3.3.1 功能简介·· 3-3

3.3.2 注意事项·· 3-4

3.3.3 主要功能·· 3-4

3.3.4 参数说明·· 3-6

4 知识库管理·· 4-1

4.1 知识库管理·· 4-1

4.1.1 功能简介·· 4-1

4.1.2 注意事项·· 4-1

4.1.3 主要功能·· 4-1

4.1.4 参数说明·· 4-3

4.2 知识库检索·· 4-4

4.2.1 功能简介·· 4-4

4.2.2 主要功能·· 4-4

4.2.3 参数说明·· 4-4

4.3 同义词库管理·· 4-5

4.3.1 功能简介·· 4-5

4.3.2 注意事项·· 4-5

4.3.3 主要功能·· 4-5

5 提示词管理·· 5-1

5.1 预置模板·· 5-1

5.1.1 功能简介·· 5-1

5.1.2 注意事项·· 5-1

5.1.3 主要功能·· 5-1

5.1.4 参数说明·· 5-1

5.2 自定义模板·· 5-2

5.2.1 功能简介·· 5-2

5.2.2 注意事项·· 5-2

5.2.3 主要功能·· 5-2

5.2.4 参数说明·· 5-3

6 智能体管理·· 6-1

6.1 流程列表·· 6-1

6.1.1 功能简介·· 6-1

6.1.2 注意事项·· 6-1

6.1.3 主要功能·· 6-1

6.2 流程调度·· 6-3

6.2.1 功能简介·· 6-3

6.2.2 主要功能·· 6-3

6.2.3 参数说明·· 6-4

6.3 智能体·· 6-4

6.3.1 功能简介·· 6-4

6.3.2 主要功能·· 6-5

6.3.3 参数说明·· 6-5

6.4 插件管理·· 6-7

6.4.1 功能简介·· 6-7

6.4.2 注意事项·· 6-7

6.4.3 主要功能·· 6-7

6.4.4 参数说明·· 6-8

6.5 插件说明·· 6-9

7 场景评估·· 7-1

7.1 评估任务·· 7-1

7.1.1 功能简介·· 7-1

7.1.2 注意事项·· 7-1

7.1.3 主要功能·· 7-2

7.1.4 参数说明·· 7-2

7.2 评估结果·· 7-3

7.2.1 功能简介·· 7-3

7.2.2 注意事项·· 7-3

7.2.3 主要功能·· 7-3

8 会话调试·· 8-1

8.1 功能简介·· 8-1

8.2 注意事项·· 8-1

8.3 主要功能·· 8-1

9 应用管理·· 9-1

9.1 应用列表·· 9-1

9.1.1 功能简介·· 9-1

9.1.2 注意事项·· 9-1

9.1.3 主要功能·· 9-1

9.2 应用授权·· 9-2

9.2.1 功能简介·· 9-2

9.2.2 注意事项·· 9-2

9.2.3 主要功能·· 9-3

9.3 应用反馈·· 9-3

9.3.1 功能简介·· 9-3

9.3.2 主要功能·· 9-4

9.4 应用监控·· 9-4

9.4.1 功能简介·· 9-4

9.4.2 主要功能·· 9-5

9.4.3 参数说明·· 9-5

10 系统管理·· 10-1

10.1 授权管理·· 10-1

10.1.1 功能简介·· 10-1

10.1.2 注意事项·· 10-1

10.1.3 主要功能-临时授权·· 10-1

10.1.4 主要功能-License授权·· 10-1

10.1.5 参数说明·· 10-2

10.2 安全服务·· 10-2

10.2.1 功能简介·· 10-2

10.2.2 主要功能·· 10-3

10.3 字典管理·· 10-4

10.3.1 功能简介·· 10-4

10.3.2 主要功能·· 10-4

10.4 数据备份·· 10-5

10.5 功能简介·· 10-5

10.6 主要功能·· 10-5

10.7 日志管理·· 10-5

10.7.1 功能简介·· 10-5

10.7.2 主要功能·· 10-6

10.8 南向配置·· 10-7

10.8.1 功能简介·· 10-7

10.8.2 主要功能·· 10-7

10.9 部门管理·· 10-7

10.9.1 功能简介·· 10-7

10.9.2 注意事项·· 10-8

10.9.3 主要功能·· 10-8

10.9.4 参数说明·· 10-8

10.10 角色管理·· 10-8

10.10.1 功能简介·· 10-8

10.10.2 主要功能·· 10-9

10.10.3 参数说明·· 10-11

10.11 用户管理·· 10-11

10.11.1 功能简介·· 10-11

10.11.2 主要功能·· 10-11

10.11.3 参数说明·· 10-12

 


1 概述

1.1  产品简介

H3C百业灵犀大模型使能平台(LinSeer Hub)聚焦模型推理及应用场景,旨在利用知识库、插件、提示词、推理服务等能力,为垂直行业客户提供安全、订制、独享、生长的模型推理服务,赋能百行百业,快速构建智能应用。

南向,大模型使能平台支持对接不同的平台和模型,屏蔽模型差异;北向,大模型使能平台提供统一的模型推理API。大模型使能平台可以适配不同的开源模型及商业模型,通过统一的模型管理、推理部署为大模型推理提供支持。

1.2  业务配置流程

1-1所示,H3C百业灵犀大模型使能平台的推荐业务配置流程为:

(1)     执行南向配置,设置大模型提供的、供使能平台调用的API接口。

(2)     在“模型管理”页面,获取大模型能力,为推理服务的部署提供大模型能力支持。目前支持两种方式:

¡     执行模型同步,将百业灵犀或傲飞平台大模型同步至大模型使能平台。

¡     通过第三方大模型提供的API接口接入大模型能力。

(3)     部署模型的推理服务实例。

(4)     可以通过以下方式增强推理服务的能力:

¡     设置提示词:通过设计和优化大模型的Prompt来提高大模型的表现,使其能够准确、可靠地回答问题或执行特定任务。

¡     挂载知识库:知识库作为大模型的知识补充,存储行业知识,同时也可以作为长期记忆存储用户使用过程中的数据。

¡     绑定插件:插件(Plugin)是大语言模型的能力扩展,通过引入外部插件能力,结合大模型推理能力,可以更好地帮助用户落地行业应用。

¡     编排工作流:工作流是一种自定义的LLM应用的工作流程,其通过预定义的步骤或流转规则来连接多个服务或业务,在这些步骤中应用AI大模型能力从而完成一个完整的业务流程。创建工作流后,用户还可以通过“流程调度”功能,控制服务流的启动时间,并调整和优化服务流的运行。

¡     创建智能体:智能体是一个基于推理服务的自主操作单元,可以自行感知和采取行动以实现特定的目标。智能体可以通过AI能力来动态调整服务流,例如根据实时数据分析来改变任务调度策略,从而优化整体服务流程。

(5)     在“应用管理”页面,通过应用的方式,为北向用户提供使能平台的资源接入权限。应用相当于鉴权系统,北向用户通过特定的APP KeyAPP Secret接入使能平台时,只能获取对应应用允许的资源。

(6)     北向用户通过大模型使能平台提供的API接口地址获取大模型推理能力。

图1-1 业务配置流程图

 


2 登录LinSeer Hub平台页面

LinSeer Hub安装部署完成后,在浏览器地址栏中输入LinSeer Hub的登录地址,进入LinSeer Hub登录页面,如2-1所示。其中,登录地址格式为:https://ip_address:37077,登录IP为“LinSeer Hub的集群北向业务虚IP”,默认登录的用户名/密码为admin/Admin@h3c

图2-1 百业灵犀大模型使能平台登录页面

 

用户名、密码输入完成后,点击<立即登录>按钮,进入LinSeer Hub平台总览页面,如2-2所示。总览页面展示了使能平台支持的主要功能及功能服务使用情况,如提示词、推理服务;点击总览页面右上角的调色盘图标,可以更改使能平台的显示风格;点击总览页面右上角的帮助图标,可以进入帮助中心,查看页面的联机帮助;点击总览页面右上角的用户图标,可以修改用户的密码、查看使能平台的版本信息、退出当前登录。

图2-2 百业灵犀大模型使能平台总览页面

 


3 推理服务

3.1  我的模型

3.1.1  功能简介

我的模型用来将傲飞或百业灵犀大模型同步至大模型使能平台,为推理服务的部署提供大模型能力支持。

在我的模型页面,用户可以同步模型和查看模型信息。

图3-1 百业灵犀大模型使能平台我的模型页面

 

3.1.2  主要功能

·     查询模型

在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的模型。如需清除所有查询条件,显示所有模型,请单击<重置>按钮。

·     同步模型

与傲飞平台或百业灵犀大模型产品建立连接后,单击<同步模型>按钮,可以将傲飞或百业灵犀大模型同步至大模型使能平台使用。与傲飞平台或百业灵犀大模型产品建立连接的配置过程,请参见《H3C百业灵犀大模型使能平台 安装部署指导》。

图3-2 百业灵犀大模型使能平台同步模型

 

·     查看版本信息

单击模型列表“操作”列的<版本>按钮,即可跳转到对应版本页面中,查看指定大模型的版本信息。

在版本页面中,可以在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的模型版本。

·     查看模型详情

点击模型列表“模型名称”列的链接,在弹出的对话框中,可以查看模型详情:

¡     在“模型详情”页签中,可以查看模型的基本信息以及版本信息。

¡     在“模型血缘”页签中,可以查看与当前模型相关的训练后模型。

·     删除模型

单击模型列表“操作”列的<删除>按钮,可以删除对应的大模型。

已经启用的大模型不能被删除。

3.2  模型API

3.2.1  功能简介

模型API是指第三方供应商为他们开发的AI大模型提供的外部接口,大模型使能平台通过该接口建立连接后,就可以使用第三方供应商的AI大模型能力,部署自己的推理服务。

模型API页面为用户展示系统预置的模型API,用户可以查看模型API的相关信息。

图3-3 百业灵犀大模型使能平台模型API页面

 

3.2.2  主要功能

·     查询模型

在页面上方的搜索栏中,输入搜索条件,然后单击<搜索>按钮,页面将仅显示符合搜索条件的模型API。如需清除所有查询条件,显示所有模型API,请单击<重置>按钮。

·     查看模型API参数

单击模型API列表“操作”列的<版本>按钮,进入模型版本页面,系统在此页面显示大模型的版本信息,然后单击模型版本列表“操作”列的<版本>按钮,在弹出的参数详情对话框中,可以查看模型API的参数详细信息。

·     查看模型详情

点击模型列表“模型名称”列的链接,在弹出的对话框中,可以查看模型的基本信息以及版本信息。

3.3  推理部署

3.3.1  功能简介

推理部署功能是指使用大模型资源部署推理服务,以提供推理功能。

在推理部署页面,用户可以新增、部署、释放、监控、编辑、扩缩容、更新、删除、重启和信息查看。

图3-4 百业灵犀大模型使能平台推理部署页面

 

3.3.2  注意事项

·     推理服务创建完成后,不能修改服务类型以及选择的模型。如需修改这些配置,请删除推理服务后重新增加。

·     在删除推理服务前,需要确保没有应用正在使用该推理服务。

·     推理实例的部署类型选择为“模型API”时,只支持编辑、监控和删除操作。

3.3.3  主要功能

·     查询推理服务

·     在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的推理服务。如需清除所有查询条件,显示所有模型,请单击<重置>按钮。

·     新增服务

a.     单击<新增>按钮,弹出“新增服务”对话框。

b.     在“基本信息”区域,填写推理服务名称,根据推理服务应用的场景选择推理服务的类型,然后根据需要可以选择性填写推理服务的描述。

c.     在“模型配置”区域,选择推理服务的部署类型:

-     基础模型:使用傲飞或百业灵犀大模型的资源部署推理服务。在此类型下,用户需要选择模型和模型版本,并在“资源配置”区域分配推理服务可以使用的GPU资源。

-     模型API:使用模型API请求到的第三方大模型资源部署推理服务。在此类型下,用户需要选择模型、模型版本,并填写模型API的服务地址以及参数配置。

d.     如果使用基础模型部署,请直接单击<确定>按钮,系统会先校验配置资源,校验通过后完成推理服务的新增。如果使用模型API部署,请先单击<测试>按钮对API接口进行连接测试,测试通过后再单击<确定>按钮,完成推理服务的新增。

图3-5 百业灵犀大模型使能平台新增服务对话框

 

·     查看推理服务已绑定应用

单击推理服务列表“操作”列的<已绑应用>按钮,在弹出的对话框中可以查看推理服务绑定的应用。绑定操作在[应用管理/应用授权]页面中。

·     编辑服务

单击推理服务列表“操作”列的<编辑>按钮,在弹出的对话框中可以修改推理服务的配置。

·     更新服务

单击推理服务列表“操作”列的<更新>按钮,在弹出的对话框中可以修改服务名称和服务描述。

·     部署服务

单击推理服务列表“操作”列的<部署>按钮,将未部署的服务进行部署。

·     监控服务

推理服务完成部署口,可以单击推理服务列表“操作”列的<监控>按钮,实时监控推理服务的运行状态。

·     释放服务资源

单击推理服务列表“操作”列的<释放>按钮,会释放指定推理服务部署所用的资源。

·     重启服务

单击推理服务列表“操作”列的<重启>按钮,可以对运行中但状态异常的推理服务进行重启。

·     删除服务

单击推理服务列表“操作”列的<删除>按钮,在弹出的对话框中单击<确定>按钮,然后继续在弹出的对话框中输入需要删除的推理服务的名称,可以删除指定的推理服务。

·     扩缩容

单击推理服务列表“操作”列的<扩缩容>按钮,可以进行增加或减少推理服务中的服务实例数量。

·     查看服务信息

点击推理服务列表“服务名称”列的链接,可以查看推理服务的详细信息。

3.3.4  参数说明

表3-1 模型API参数配置参数说明

参数

说明

linseer_model

百业灵犀大模型名称

chat_url

模型API的接口URL,用于指定API请求的目标地址

auth_status

用于选择API接口是否需要认证

api_key

API秘钥用于验证API请求的访问权限

secret_key

api_key配对使用,进一步加强通过API调用大模型资源的安全性

token_url

获取Token的接口地址

 


4 知识库管理

4.1  知识库管理

4.1.1  功能简介

知识库是一个集合了特定领域或主题的知识和信息的管理数据库,将知识库挂载到服务中,可以为服务提供知识库的实时的查询和检索功能,以便服务能够根据用户需求进行相关性匹配、数据检索和知识推理等操作。

知识库列表用于管理百业灵犀大模型使能平台使用的知识库,用户可以新增、修改和删除知识库,为知识库上传和解析数据文件,以及查看知识库相关信息。

图4-1 百业灵犀大模型使能平台知识库列表页面

 

4.1.2  注意事项

·     知识库列表创建完成后,需要在该知识库中上传数据文件,否则无法正常使用该知识库。在知识库中仅支持上传.doc.docx.pdf.md.ppt.pptx.xls.xlsx.txt类型的文件,且单个文件不能超过100MB,文件名及文件名后缀的总长度不能超过70个字符。

·     知识库已经绑定应用时,该知识库无法被删除。

·     知识库创建完成后,不能修改该知识库的分类、向量模型以及是否公开。

4.1.3  主要功能

·     查询知识库

在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的知识库。如需清除所有查询条件,显示所有知识库,请单击<重置>按钮。

·     新增知识库

单击<新增>按钮,在弹出的对话框中,输入知识库名称,选择知识库分类,并填写和选择知识库其他参数,然后单击<确定>按钮,完成知识库新增。需要注意的是,知识库分类并不影响知识库的具体功能,仅作为一个本地增加知识库标识度的信息。

·     查看知识库已绑定应用

单击知识库列表“操作”列的<已绑应用>按钮,在弹出的对话框中可以查看知识库绑定的应用。绑定操作在[应用管理/应用授权]页面中。

·     修改知识库

单击知识库列表“操作”列的<修改>按钮,在弹出的对话框中,可以修改知识库名称以及配置参数。

·     删除知识库

单击知识库列表“操作”列的<删除>按钮,,在弹出的对话框中单击<确定>按钮,然后继续在弹出的对话框中输入需要删除的知识库名称,单击<确定>按钮完成知识库的删除。

·     上传数据文件,处理数据

a.     单击知识库列表“操作”列的<文件>按钮,进入文件页面。

b.     上传文件,存在两种文件上传方式:

-     选择文件:单击<选择文件>按钮,选择本地的指定文件进行上传。

-     选择文件夹:单击<选择文件夹>按钮,将本地选定的文件夹下所有符合格式要求的文件进行上传。

c.     单击<上传文件>按钮完成文件上传。

d.     完成文件上传后,单击文件列表“操作”列的<解析>按钮,对文件进行解析。解析完成后,系统才能对数据文件进行分片,以供推理服务进行检索。

e.     单击文件列表“操作”列的<策略配置>按钮,在弹出的对话框中对文件的分片策略参数进行配置。修改策略配置后会导致文件重新解析。

f.     (可选)单击文件列表“操作”列的<分片内容>按钮,查看数据文件分片后的情况。

g.     (可选)单击文件列表“操作”列的<删除>按钮,删除指定的数据文件。

h.     (可选)单击文件列表“操作”列的<下载>按钮,将文件下载到本地。

图4-2 百业灵犀大模型使能平台知识库文件处理页面

 

·     查看知识库详细信息

点击知识库列表“知识库名称”列的链接,可以查看知识库详细信息。

4.1.4  参数说明

表4-1 新增知识库配置参数说明

参数

说明

默认召回条数

推理服务在对知识库进行查询的过程中,默认返回的最大结果数量

未命中处理策略

没有在知识库中检索到问题匹配的答案时,系统的处理策略。取值包括:

·     严格模式:直接返回提示

·     正常模式:由大模型对问题进行继续作答

·     原始数据模式:仅返回知识库中最接近但不完全匹配的原始数据

召回文本块大小

在知识库中检索时返回的单个文本块的大小

是否返回文件信息

是否返回检索到内容的出处文件信息

同义词库

选择知识库关联的同义词库。同义词库是多组同义词或近义词的集合,它的主要作用是在查询时提供词义的灵活性和宽容性,从而使知识库能够正确识别和处理那些在表述上不同但含义相同或相似的查询表达

推理总结

推理总结是一组逻辑规则或推理机制,这些规则定义了数据实体之间的关系以及如何根据已有的知识推导出新的结论。推理总结允许知识库进行更复杂的查询处理,它通过预先定义的规则将不同的知识片段联系起来,从而对查询进行深入的分析和回答

检索阈值

在知识库中进行检索时,返回的结果与查询文本间的相似性。检索阈值越高,检索结果越精确;检索阈值越低,检索结果越模糊

开启提问理解

开启提问理解后,系统会分析用户的输入,并进行处理和语义理解,以提高知识库检索的准确性和效率

开启多轮会话

开启多轮会话时,AI助手能够根据知识库检索的内容与用户进行连续的对话交互,而不仅仅是单一的问答模式

 

表4-2 文件切分策略配置参数说明

参数

说明

文本切分策略

知识库使用何种方式对文本进行切分:

·     通用符号:根据通用符号(比如空格、标点符号等)对文本进行切分

·     标题增强:根据文档标题对文本进行切分,仅Word文档支持此切分方式

·     自定义符号:根据用户自行选择或定义的符号对文本进行切分

分块长度

文本切分后每个片段的最大字符数

标题拼接层级

在生成文本片段时,将指定标题层级及以上的内容进行拼接以构成完整的文本片段。通过附加标题信息,可以在检索结果中提供更多的上下文,帮助用户更好地理解检索结果的来源和背景

停止拼接标识符

用于指示数据处理系统在切片过程中何时停止将数据片段合并为更大的单元或块

 

4.2  知识库检索

4.2.1  功能简介

知识库检索功能通过检索条件匹配出知识库中的相似文本块,并进行显示。

图4-3 百业灵犀大模型使能平台知识库检索界面

 

4.2.2  主要功能

选择和填写完检索参数后,单击<检索>按钮,可以查看知识库中与检索内容相匹配的内容。

单击<清空>按钮,可以清空当前检索内容。

4.2.3  参数说明

表4-3 知识库检索参数说明

参数

说明

默认召回条数

推理服务在对知识库进行查询的过程中,默认返回的最大结果数量

检索阈值

在知识库中进行检索时,返回的结果与查询文本间的相似性。检索阈值越高,检索结果越精确;检索阈值越低,检索结果越模糊。

 

4.3  同义词库管理

4.3.1  功能简介

同义词库是多组同义词或近义词的集合,这些词汇在意义上相互关联,但表达形式可能不同。同义词库的主要作用是在查询时提供词义的灵活性和宽容性,从而使知识库能够正确识别和处理那些在表述上不同但含义相同或相似的查询表达。例如,同义词库会告诉系统“汽车”、“轿车”和“车辆”是可以互换的词汇。同义词库可以被绑定到知识库中使用。

同义词库管理页面主要功能包括新增同义词库、修改同义词库、删除同义词库、查询同义词库以及配置同义词库中的同义词配置。

图4-4 百业灵犀大模型大模型使能平台同义词库管理界面

 

4.3.2  注意事项

被绑定到知识库中的同义词库无法被删除。

4.3.3  主要功能

·     查询同义词库

在页面上方的搜索栏中输入搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的同义词库。如需清除所有查询条件,显示所有同义词库,请单击<重置>按钮。

·     新增同义词库

单击页面左上角的<新增>按钮,在弹出的对话框中输入新增同义词库的名称,并根据需要输入同义词库的描述,然后单击<确定>按钮,完成同义词库新增。

·     修改同义词库

单击同义词库列表“操作”列中的<修改>按钮,可以在弹出的对话框中修改同义词库的名称和描述信息。

·     删除同义词库

单击同义词库列表“操作”列中的<删除>按钮,然后在弹出的对话框中单击<确定>按钮,可以删除同义词库。

·     配置同义词

单击同义词库列表“操作”列中的<同义词>按钮,跳转至同义词配置页面,可以配置同义词库中的同义词:

¡     单击页面左上角的<新增>按钮,在弹出的对话框中输入原词,并通过<添加>按钮添加若干个对应的同义词,然后单击<确定>按钮,完成一组同义词的新增。

¡     单击同义词列表“操作”列的<修改>按钮,可以在弹出的对话框中修改同义词组。

¡     单击同义词列表“操作”列的<删除>按钮,然后再弹出的对话框中单击<确定>按钮,可以删除同义词。

¡     在同义词配置页面上方的搜索栏中输入搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的同义词。如需清除所有查询条件,显示所有同义词,请单击<重置>按钮。

图4-5 百业灵犀大模型使能平台同义词配置页面

 


5 提示词管理

5.1  预置模板

5.1.1  功能简介

预置模板中包括系统预先为多种场景设置的提示词。自定义提示词模板引用预置模板后,可以直接使用预置模板中的提示词,也可以在该提示词的基础上进行修改,以提高自定义提示词模板的效率和准确率。

图5-1 百业灵犀大模型使能平台预置模板页面

 

5.1.2  注意事项

预置模板为系统内置模板信息,无法进行新增、修改和删除。

5.1.3  主要功能

查看预置模板详情:点击预置模板对应操作列的模板名称,可以查看预置模板的详细信息。

5.1.4  参数说明

表5-1 预置模板详情参数说明

参数

说明

模板名称

预置模板的名称

行业场景

预置模板适用的行业场景,分为医疗、教育、政府等行业场景

创建人

创建该预置模板的用户

创建时间

预置模板的创建时间

模板描述

预置模板的描述信息

提示词内容

预置模板的提示词内容。在AI会话交互的Prompt中,用户需要根据实际情况输入内容来替换content参数

 

5.2  自定义模板

5.2.1  功能简介

自定义模板用来定义提示词模板。提示词模板可以用于以下场景:

·     与应用绑定,以提升模型回答的质量。

·     用于会话调试。在会话调试时绑定提示词模板进行对话。

图5-2 百业灵犀大模型使能平台自定义模板页面

 

5.2.2  注意事项

如果自定义的提示词模板与应用绑定,则不允许删除该提示词模板。需要先解除提示词模板与所有应用的绑定,才可以删除该提示词模板。

5.2.3  主要功能

·     新增自定义模板

单击<新增>按钮,根据需要填写模板名称、选择预置模板、行业场景、模板描述、提示词内容,单击<确定>按钮,完成新增自定义模板操作。

·     修改自定义模板

单击自定义模板对应操作列的“修改”按钮,即可修改自定义模板信息。

·     删除自定义模板

单击自定义模板对应操作列的“删除”按钮,删除指定的自定义模板。

·     查看模板已绑定的应用

单击自定义模板对应操作列的“已绑应用”按钮,进入到已绑定应用页面,可以查看当前自定义模板绑定的应用列表信息。

·     查看模板详情

单击自定义模板对应操作列的模板名称,可以查看自定义模板的详细信息。

5.2.4  参数说明

表5-2 新增自定义模板参数说明

参数

说明

模板名称

自定义模板的名称

预置模板

系统内置的预置模板。选择预置模板后,可以直接使用该预置模板的提示词内容

行业场景

自定义模板适用的行业场景,分为医疗、教育、政府等行业场景

模板描述

自定义模板的描述信息

提示词内容

根据需求采用以下方式填写提示词内容:

·     直接手工输入提示词内容

·     引用预置模板内容

·     引用预置模板内容后,在其基础上进行修改

单击<插入参数>按钮,可以在提示词中的光标位置添加参数。在AI会话交互的Prompt中,用户需要根据实际情况输入参数的内容

 


6 智能体管理

6.1  流程列表

6.1.1  功能简介

工作流用来快速构建自定义的LLM应用的工作流程。用户可以通过简单的图形元素拖拽,将LLM应用的API配置到工作流程中,实现LLM应用的快速构建。

流程列表页面旨在帮助用户高效管理和定制工作流。在该页面,用户可以新增、设计、修改和删除工作流。有关工作流设计和配置的详细指导,请参见《H3C百业灵犀大模型使能平台 工作流配置指导》。

图6-1 百业灵犀大模型使能平台流程列表页面

 

6.1.2  注意事项

拖拽到工作流设计页面上的流程节点,只有测试无误后,才能进行预览调试。

6.1.3  主要功能

·     新增工作

单击<新增>按钮,输入工作流名称和工作流描述信息,单击<确定>按钮,完成新增工作流操作。

·     查看与工作流绑定的应用

点击工作流对应操作列的“已绑应用”按钮,可以查看已经被授权使用该工作流的应用的名称和描述信息。

·     修改工作流

单击工作流对应操作列的<修改>按钮,输入工作流名称和工作流描述信息,单击<确定>按钮,完成修改工作流操作。

·     删除工作流

可以通过以下方式删除工作流:

¡     单击工作流对应操作列的“删除”按钮,删除指定的工作流。

¡     勾选一个或多个工作流,单击工作流列表上方的<批量删除>按钮,批量删除选中的工作流。

·     设计工作流

单击工作流对应操作列的“设计”按钮,可以选择流程模板,基于预置的流程模板快速创建工作流,也可以创建空白流程,自行设计工作流。

进入工作流设计页面后,在该页面可以执行如下操作:

¡     从左侧的组件栏中选择所需流程组件,将其拖拽到工作流程编排框,设置流程组件的参数。

¡     可以拖拽多个流程节点,通过链输入和链输出将多个流程组件连接起来。

¡     将编排完成的工作流程导出到文件中。

¡     json格式的文件中导入工作流程。

¡     设置应用的引导语、推荐问题、前置变量等。

¡     保存工作流程。

¡     查看错误日志。

¡     单击<测试>按钮,对编排完成的工作流进行测试。如果测试失败,则会提示失败原因,如组件缺少所需的参数配置等,请根据失败原因修改工作流程后再进行测试。如果测试成功,则会进入测试预览界面,在该界面可以进行会话交互测试。

¡     单击<发布>按钮,输入工作流的版本号和描述信息,发布编排完成的工作流。

图6-2 百业灵犀大模型使能平台工作流设计页面

 

·     复制工作流

单击工作流对应操作列的“复制”按钮,输入新的工作流的名称,可以创建一个与原工作流完全相同的新工作流。

复制工作流功能使用户能够轻松创建现有工作流的副本,从而节省时间和精力。用户可以在保留原有工作流设置的基础上,进行定制和调整,以满足新的需求。

·     查看和删除历史版本

单击工作流对应操作列的“历史版本”按钮,可以进入工作流的历史版本页面。在该页面既可以查看工作流的历史版本信息,也可以删除指定的历史版本。

不能删除工作流的所有历史版本,至少要保留一个版本信息。

·     导入工作流

单击工作流列表上方的“导入”按钮,选择.flow格式的文件,导入文件中的工作流。

·     导出工作流

勾选一个或多个工作流,单击工作流列表上方的<导出>按钮,可以将选中的工作流导出到.flow格式的文件中。

6.2  流程调度

6.2.1  功能简介

流程调度用于对已经编排的工作流进行调度。通过流程调度页面,不仅能够控制工作流何时启动,还能够根据实际业务需求,灵活调整和优化整个工作流的运行,从而提高效率,减少人为错误,确保业务流程的顺畅和稳定。

图6-3 百业灵犀大模型使能平台任务调度页面

 

6.2.2  主要功能

·     添加定时任务

单击<新增>按钮,输入任务名称、任务描述信息、任务执行周期,选择待调度的工作流,单击<确定>按钮,完成添加定时任务操作。

·     编辑定时任务

单击定时任务对应操作列的<编辑>按钮,可以修改任务名称、任务描述信息、任务执行周期、待调度的工作流、定时任务状态等。

·     删除定时任务

单击定时任务对应操作列的<删除>按钮,可以删除指定的定时任务。

·     立即执行定时任务

单击定时任务对应操作列的<立即执行>按钮后,系统会立即调度并执行一次指定的工作流。

·     查看日志

单击定时任务对应操作列的<查看日志>按钮,可以查看工作流的调度和执行日志信息,包括执行状态、执行过程等。在该页面可以删除指定的日志信息,或清空所有日志信息。

6.2.3  参数说明

表6-1 定时任务参数说明

参数

说明

任务名称

定时任务的名称

任务描述

定时任务的描述信息

执行周期

工作流的执行周期

单击<生成表达式>按钮,进入Cron表达式页面后,选择工作流的执行时间段和执行周期

工作流

待调度的工作流的名称

只能调度已发布的工作流

额外参数

工作流的前置变量,通过JSON的形式设置

设置额外参数后,在调用工作流的时候,工作流可以接收这些配置参数,从而根据参数调度和执行工作流

 

6.3  智能体

6.3.1  功能简介

智能体是利用大规模预训练模型构建的人工智能系统,它通过人工智能技术模拟人类行为,进行自然语言理解、决策支持和交互等任务。智能体能够在多种场景中应用,如客服、教育、咨询等,为用户提供问答、信息检索、数据分析等服务。

在智能体页面,用户可以定制智能体的行为和功能,如指定智能体使用的模型、绑定的知识库、调用的工具等,轻松管理和优化智能体,使其更好地适应特定的应用场景和需求。

图6-4 智能体页面

 

6.3.2  主要功能

·     新增智能体

单击<新增>按钮,设置智能体名称、使用的模型、绑定的知识库、调用的工具等信息后,单击<保存>按钮,完成添加智能体操作。

单击模型、知识库选择框后的按钮,可以设置模型和知识库的参数。

智能体添加完成后,在右侧窗口可以预览智能体的效果,并对其进行对话测试。

图6-5 新增智能体页面

 

 

·     修改智能体

单击智能体对应操作列的“修改”按钮,即可修改智能体名称、使用的模型、绑定的知识库、调用的工具等信息。

·     删除智能体

单击智能体对应操作列的“删除”按钮,删除指定的智能体。

6.3.3  参数说明

表6-2 新增智能体参数说明

参数

说明

智能体名称

智能体的名称,用来标识一个智能体

智能体描述

智能体的描述信息

提示词

在对话中用来引导用户问题的关键词

合理的提示词可以帮助用户更快地获取信息

模型

智能体使用的大模型

必须选用系统上已经部署成功的推理模型

每种模型都有其特定的优势和适用场景。请选择符合特定需求的模型,以提高智能体的效率和准确性

可以对模型的如下参数进行设置:

·     温度:用于控制大模型生成文本的随机性或创造性。温度值通常在01之间,较低的温度值(接近0)会使模型生成更具确定性、更少变化的文本;而较高的温度值(接近1)会增加文本的多样性和创新性,但同时可能会降低文本的一致性和准确性

·     Top P:用于控制大模型在文本生成时,选择下一个词的候选池的大小。具体而言,它设置了一个概率阈值P,模型将仅考虑累积概率达到P的最可能的词作为下一个词的候选。这种方法能够有效地平衡生成文本的多样性和相关性,避免生成过于离题或无意义的内容

知识库分类

知识库所属的分类

知识库

智能体绑定的知识库。智能体可以访问和利用知识库中的信息来提供更准确的回答

必须选取系统上已经添加的知识库,并确保所选知识库的内容与智能体的应用场景高度相关。

可以对知识库的如下参数进行设置:

·     检索阈值:在使用知识库进行信息检索时,设定的相关性评分的最低标准。只有当某条知识库中的信息与查询请求的相关性评分高于该阈值时,该信息才会被认为是相关的并被检索出来。通过调整检索阈值,可以平衡检索结果的准确性与覆盖范围

·     召回条数:在进行知识库检索时,系统返回的相关信息的最大数量。设置召回条数可以限制检索结果的数量,只返回最相关的若干条信息。这有助于避免信息过载,同时确保用户能够快速获得最关键的信息

工具

智能体可以调用的插件和工作流。通过插件和工作流来增强智能体的功能

变量

智能体的前置变量

变量是指在文本生成或其他任务处理过程中,可以被模型引用或影响模型行为的参数或数据。这些变量可以是静态的,如配置参数、环境设置等;也可以是动态的,如用户输入、上下文状态等。变量的作用在于提供了一种方法来调整和控制模型的行为,使其能够针对特定的任务或上下文条件做出适当的响应。例如,通过调整与任务相关的变量,可以使模型生成更符合特定场景的文本,或者更准确地解答特定领域的问题

在某些复杂的应用场景中,智能体在启动前可能需要设置一些前置变量,以帮助智能体更好地理解和适应环境,提升智能体的效果和应用的灵活性

智能体支持如下几种类型的变量:

·     文本:用于存储短文本字符串的变量,如用户的名字、地点、特定的关键词等

·     段落:用于存储较长文本信息的变量,如一个完整的问题描述、长篇的提示信息或者详细的解释说明

·     选项:定义一组预设选择的变量,让用户从中选择一个或多个选项,如问卷调查的选项、操作指令的选择等

引导语

在与用户交互时使用的开场白,帮助引导对话流程

好的引导语不仅能够激发用户的兴趣,还能够明确智能体的对话范围

推荐问题

设定一系列推荐问题,这些问题将展示在智能体界面上,帮助用户快速了解智能体的功能并启动对话

 

6.4  插件管理

6.4.1  功能简介

插件是添加到LLMLarge Language Model,大语言模型LLM)中、用来扩展LLM功能或简化与特定应用程序集成的组件或工具。插件可以帮助用户快速构建LLM应用,或将LLM集成到自建程序中。插件与模型服务协同工作,可以为用户提供更多种类、更高质量的服务,例如:

·     检索实时信息,如本地天气,体育比分、股票价格等。

·     检索知识库信息,如公司文件、个人笔记等。

·     代表用户执行操作,如订机票、订餐等。

插件通过APIApplication Programming Interface,应用程序接口)与LLM交互。LLM是插件API的智能调用者,它通过插件的API描述,来判断并主动调用插件API来执行操作。例如,如果LLM上添加了查询天气插件,那么当用户问“今天的天气怎么样?”时,LLM不会回答它尚未掌握的实时信息,而是会通过API调用天气相关的插件,然后根据插件的数据生成面向用户的答案。

图6-6 百业灵犀大模型使能平台插件库页面

 

6.4.2  注意事项

·     在“插件调试”页面中输入的请求地址必须是具体的URL地址,包括协议头(httphttps)、接口路径。

·     目前,插件调试仅支持GETPOST请求方式。

6.4.3  主要功能

·     新增插件

单击<新增>按钮,输入插件名称、模型插件名称、认证类型等信息,单击<确定>按钮,完成新增插件操作。

·     查看与插件绑定的应用

点击插件对应操作列的“已绑应用”按钮,可以查看已经被授权使用该插件的应用的名称和描述信息。

·     修改插件

点击插件对应操作列的“修改”按钮,修改插件名称、模型插件名称、认证类型等信息,单击<确定>按钮,完成修改插件操作。

·     删除插件

点击插件对应操作列的“删除”按钮,可以删除指定的插件。

·     停用插件

点击插件对应操作列的“停用”按钮,可以停用指定的插件。

·     配置插件

点击插件对应操作列的“配置”按钮,可以对插件的请求地址、基本信息、请求头部等信息进行配置。

·     调试插件

点击插件对应操作列的“调试”按钮,输入插件的请求方式(GETPOST)、请求地址、请求消息头、请求消息参数和请求消息体后,单击<发送>按钮,可以对插件的功能进行调试。插件的响应结果将显示在响应结果框中。

·     导入插件配置

点击插件对应操作列的“导入”按钮,选择并上传插件配置文件,可以通过该文件对插件进行配置。插件配置文件的内容需要严格遵循OpenAPI格式规范。

·     查看插件的详细信息

单击插件名称,可以查看该插件的配置信息和Manifest文件信息。

6.4.4  参数说明

表6-3 插件参数说明

参数

说明

插件名称

面向用户的插件名称

模型插件名称

面向模型的插件名称

认证类型

插件的认证方式,取值包括:

·     无认证:使用插件时,无需进行身份验证

·     Token认证;使用插件时,需要进行Token认证。即,发送给插件的请求消息中携带Token,插件对该Token进行合法性验证,只有验证通过,才允许使用该插件

认证Key

用于身份认证的Key

认证Key和认证Token是一个key-value对,例如,access_token:123456access_token为认证Key123456为认证Token

认证Token

用于身份认证的Token

插件类型

插件所属的分类,如通用插件、行业插件

插件描述

面向用户的插件描述信息

模型插件描述

面向模型的插件描述信息

Logo

插件使用的Logo图标

 

表6-4 插件配置参数说明

参数

说明

地址信息

插件对应的URL地址信息

请求地址

插件的URL请求地址,包括请求的协议类型(HTTPHTTPS)、提供插件服务的服务器地址和端口号。请求地址指向插件的网络服务接口。调用某个插件时,会向这个插件的URL请求地址发送HTTP请求

参数配置

向插件发送的请求消息中的相关参数配置

基本配置

向插件发送的请求消息中的基本参数配置

请求路径

要访问的插件服务的位置

请求路径通常包括一系列由斜杠(/)分隔的段,每个段可以表示API的一个层级或者具体的操作对象。这些路径段常常是层级性的,从左到右的顺序表示从通用到具体的资源定位

请求方式

HTTP请求方式,取值包括GETPOST

函数标识

插件请求的函数标识。函数标识作为请求URL中的一部分,用来告知服务后端需要执行的具体操作

函数描述

插件请求函数的描述信息

请求头部

在发送给插件的请求消息中头部需要携带的字段,包括字段名称、字段描述信息、消息头中是否必须携带该字段、以及字段的默认取值

请求Params

在发送给插件的请求消息中消息体需要携带的参数,包括字段名称、字段描述信息、以及消息体中是否必须携带该字段

响应Response

插件回应的响应消息需要携带的内容,包括字段名称、字段描述信息和字段的取值类型

 

6.5  插件说明

插件说明对插件进行介绍,描述了插件开发创建的基本流程,以帮助用户理解和使用插件。

图6-7 百业灵犀大模型使能平台插件说明页面

 


7 场景评估

7.1  评估任务

7.1.1  功能简介

评估任务用来对模型的精确度、效率、稳定性等性能进行评价和测试,以确定模型是否能够满足预定的性能目标。用户可以根据评估结果来了解模型的弱点,从而对模型进行优化、提升性能、提高模型的安全性和可靠性。

在评估任务页面,用户可以新增、修改、删除、立即执行和查看评估任务详情,导入评估任务的数据集。

图7-1 百业灵犀大模型使能平台评估任务页面

 

7.1.2  注意事项

·     评估任务创建完成后,需要进入数据集页面导入数据,否则无法执行评估任务。

·     执行中的评估任务不能删除。

·     评估任务创建完成后,只能修改评估任务名称和描述信息。如需修改已创建评估任务的其它信息,只能删除后重新创建。

·     评估任务最多支持对3个推理服务的评估结果进行对比,即在创建评估任务时最多选择3个推理服务。

·     对于已经完成的评估任务,可以单击评估任务对应操作列的“立即执行”按钮,再次执行该评估任务。新的评估结果会覆盖之前的评估结果。

·     创建任务创建后,若已到达或已过执行时间,且已导入评估任务的数据集,则评估任务会自行启动。

·     若再次导入已经存在的评估任务的数据集,则新的数据集会覆盖之前的数据集,评估任务会重新开始执行。

7.1.3  主要功能

·     新增评估任务

单击<新增>按钮,设置评估任务的名称、执行时间、描述信息,选取要评估的推理服务,并设置temperature和知识库信息后,单击<确定>按钮,完成新增评估任务操作。

·     修改评估任务

单击评估任务对应操作列的“修改”按钮,即可修改评估任务名称和描述信息。

·     删除评估任务

单击评估任务对应操作列的“删除”按钮,删除指定的评估任务。

·     立即执行评估任务

单击评估任务对应操作列的“立即执行”按钮,可以执行当前评估任务。

·     数据集操作

单击评估任务对应操作列的“数据集”按钮,进入到数据集内容页面。

¡     单击<导入>按钮,下载模板,按照模板要求编辑数据集文件后,上传该数据集文件。

¡     单击<导出>按钮,可以将当前数据集的内容导出到文件中。

¡     在数据集内容页面,可以查看已完成的评估任务下各推理服务的回答内容,单击问题名称可查看全部内容。

·     查看评估任务的详细信息

单击评估任务名称,可以查看该评估任务的详细信息。

7.1.4  参数说明

表7-1 新增评估任务参数说明

参数

说明

任务名称

评估任务的名称

执行时间

评估任务的执行时间

任务描述

评估任务的描述信息

推理服务

当前可用的推理服务,可最多选择3个推理服务执行评估任务

temperature

推理服务输出内容的随机性。Temperature设置为较高的值,将使输出更加随机;Temperature设置为较低的值,将使输出更加集中和确定

知识库分类

知识库所属的分类

知识库

选择系统上已经创建的知识库

选择知识库后,推理服务会挂载知识库进行输出

 

7.2  评估结果

7.2.1  功能简介

评估结果用来对模型的回答进行可视化展示。在评估结果页面,可以直观地看出各模型在当前数据集下的性能结果。

图7-2 百业灵犀大模型使能平台评估结果页面

 

7.2.2  注意事项

任务列表中,只显示已完成的评估任务。

7.2.3  主要功能

查看评估结果:

·     选择一个评估任务后,页面上将展示该评估任务的评估结果折线图。

·     可点击左右箭头进行翻页展示。

·     可鼠标悬浮查看当前项的问题。

·     可选择每页显示的评估结果的条数。

·     单击评估数据上方的推理服务名称,可以显示或隐藏该推理服务的评估结果。


8 会话调试

8.1  功能简介

会话调试功能用来对推理服务、知识库以及提示词的配置通过Prompt方式进行效果预览和调试。

图8-1 百业灵犀大模型使能平台会话调试页面

 

8.2  注意事项

·     只能选择正常运行的聊天会话类型推理服务进行调试。

·     勾选<自定义上下文>时,此功能对开启了“单轮对话”功能的会话调试不生效。

8.3  主要功能

·     创建、编辑、删除会话窗口

¡     单击<创建新建会话>按钮,添加新的会话聊天窗口。

¡     选中一个会话,点击会话上的编辑图标,可以编辑会话窗口名称。

¡     选中一个会话,点击会话上的删除图标,可以删除当前选中的会话窗口,同时会删除该会话窗口的会话历史内容。

·     模型配置

点击“模型”页签,选择需要调试的大模型部署好的推理服务。如果需要调试多个推理服务,可以点击添加图标,选择多个推理服务同时进行问答。

可以设置模型的Temperaturetop_pTemperaturetop_p是两种调节模型输出随机性的超参数。建议不要同时调整这两个参数。

¡     Temperature:用于控制生成过程的随机性或确定性。较高的Temperature值将使输出更加随机,更加多样化;较低的Temperature值将使输出更加集中和确定。

¡     top_p:采样方法,它基于累积概率来选择下一个词。具体来说,它会考虑一个最小集合的候选词,这个集合的累积概率至少达到top_p的值。例如,如果top_p设为0.9,那么在生成下一个词时,模型会考虑累积概率加起来至少是90%的那些候选词。Top_p的数值越小结果确定性越强;数值越大,结果越随机。

·     提示词/知识库配置

¡     选择提示词:选定提示词后,Prompt提问框中会显示具体的提示词内容,可以在Prompt提问框中编辑该提示词。

¡     选择知识库:选择知识库后,模型将优先根据知识库搜索对应问题的答案。如果在知识集中未匹配到相关问题的答案,则以大模型的数据回答输出。在知识库中,可以设置检索阈值、是否返回参考的文件信息。

在提示词和知识库中,只能二者选其一。

·     单轮会话

勾选<单轮会话>复选框后,推理服务将不结合上下文直接进行问题回答;否则,推理服务会默认将最近的5个问答对作为上下文对问题进行回答。

·     开启流式输出

勾选<开启流式输出>复选框后,推理服务在回答问题时逐步发送数据而不是等待信息完整生成后再一次性返回给用户。这种方式可以减少用户等待的时间,更迅速地获得问题的回答。

·     自定义上下文

默认情况下,推理服务会将最近的5个问答对作为上下文对问题进行回答。如果默认上下文的范围不符合需求,用户可以勾选<自定义上下文>选择框,此时当前会话下所有的历史问题左侧都会出现复选框,勾选问题后,推理服务再进行问题回答时就仅会将勾选的问题作为上下文进行问题回答。

·     停止会话

模型回答内容未结束时,可以点击<停止会话>按钮,停止模型回答。

·     重新生成

模型回答完毕后,可以点击<重新生成>按钮,以上次模型配置和问题重新回答。


9 应用管理

9.1  应用列表

9.1.1  功能简介

百业灵犀大模型使平台通过应用的方式,为北向用户提供使能平台的资源接入权限。应用相当于鉴权系统,北向用户通过特定的APP KeyAPP Secret接入使能平台时,只能获取对应应用允许的资源。

应用列表页面用于管理应用,用户可以新增、修改、删除和查看应用,并管理各类资源的授权、设置应用的通知和查看应用的历史通知。

图9-1 百业灵犀大模型使能平台应用列表页面

 

9.1.2  注意事项

删除应用前,必须先取消该应用的所有授权。

9.1.3  主要功能

·     查询应用

在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的应用。如需清除所有查询条件,显示所有应用,请单击<重置>按钮。

·     新增应用

a.     单击<新增>按钮,在弹出的“添加应用”对话框中,输入应用名称,选择应用状态,并根据需要填写应用的描述信息。

b.     单击<确定>按钮,完成应用新增。

·     修改应用

单击应用列表“操作”列的<修改>按钮,可以修改应用的配置。

·     删除应用

单击应用列表“操作”列的<删除>按钮,删除指定的应用。

·     授权管理

本功能用于将指定的资源授权给应用使用:

c.     单击应用列表“操作”列的<授权管理>按钮,跳转至授权管理页面。

d.     将创建好的资源授权给应用进行使用。目前支持授权的资源类型包括:推理服务、知识库、提示词、插件、经过编排的工作流以及智能体。开启授权的方式包括单体授权和批量授权:

-     单体授权:单击资源列表“授权”列对应资源的按钮,然后在弹出的对话框中单击<确认>按钮,完成将资源授权给应用或者取消授权给应用。

-     批量授权:勾选资源列表最左列的复选框,然后单击资源列表上方的<批量授权><批量取消授权>按钮,可以批量将勾选的资源授权给应用或取消授权给应用。

e.     (可选)在配置推理服务的授权时,可以单击推理服务列表“操作”列中的<编辑>按钮,然后在“访问频率”列和“访问次数”列进行输入来限制应用对推理服务的访问频率和访问次数。

f.     (可选)在授权管理页面中上部的搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的可授权资源。如需清除所有查询条件,显示所有可授权资源,请单击<重置>按钮。

·     发送通知

单击应用列表“操作”列的<通知>按钮,可以将指定应用的通知信息,通过邮件形式发送给指定的接收人。

·     查看历史通知信息

单击应用列表“操作”列的<历史通知>按钮,跳转至历史通知页面查看历史发送的应用通知信息,并且可以进行通知重发。

9.2  应用授权

9.2.1  功能简介

应用管理页面配置应用的资源授权,用户可以查看资源授权给应用的统计信息并修改授权给应用的资源。

图9-2 百业灵犀大模型使能平台应用授权页面

 

9.2.2  注意事项

只有服务状态为“运行中”的推理服务可以被授权给应用

9.2.3  主要功能

·     查询应用

在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的应用统计信息。如需清除所有查询条件,显示所有应用,请单击<重置>按钮。

·     授权管理

本功能用于将指定的资源授权给应用使用:

a.     单击应用列表“操作”列的<授权管理>按钮,跳转至授权管理页面。

b.     将创建好的资源授权给应用进行使用。目前支持授权的资源类型包括:推理服务、知识库、提示词、插件、经过编排的工作流以及智能体。开启授权的方式包括单体授权和批量授权:

-     单体授权:单击资源列表“授权”列对应资源的按钮,然后在弹出的对话框中单击<确认>按钮,完成将资源授权给应用或者取消授权给应用。

-     批量授权:勾选资源列表最左列的复选框,然后单击资源列表上方的<批量授权><批量取消授权>按钮,可以批量将勾选的资源授权给应用或取消授权给应用。

c.     (可选)在配置推理服务的授权时,可以单击推理服务列表“操作”列中的<编辑>按钮,然后在“访问频率”列和“访问次数”列进行输入来限制应用对推理服务的访问频率和访问次数。

d.     (可选)在授权管理页面中上部的搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的可授权资源。如需清除所有查询条件,显示所有可授权资源,请单击<重置>按钮。

图9-3 百业灵犀大模型使能平台授权管理页面

 

9.3  应用反馈

9.3.1  功能简介

应用反馈页面主要用于对北向用户使用过程中针对应用所反馈的意见进行管理,该页面可以显示用户反馈问题列表,支持查看、处理和导出问题。

图9-4 百业灵犀大模型使能平台应用反馈页面

 

9.3.2  主要功能

·     查询意见

在页面上方的文本框中输入或选择搜索条件,单击<搜索>按钮,符合条件的意见会显示在下方。

如需清除所有查询条件,请单击<重置>按钮将查询条件置空。

·     导出意见

单击<导出>按钮,可以导出用户反馈意见列表。

·     处理意见

单击意见列表操作列的<处理>按钮,在弹出的确认对话框中选择意见的处理类型,并输入处理结果,完成对意见反馈的处理。

·     查看意见详情

单击意见列表操作列的<详情>按钮,可以在弹出的对话框中查看意见反馈的详细信息。

9.4  应用监控

9.4.1  功能简介

应用监控通过图表的形式,为用户生动形象地展示满足指定筛选条件的应用监控数据。

图9-5 百业灵犀大模型使能平台应用监控页面

 

9.4.2  主要功能

选择和填写完监控数据的筛选条件后,单击<搜索>按钮,系统即以图表形式显示监控数据。需要注意的是,在选择监控数据的时间段时,需要选择两次日期,以表示监控数据的起/止日期。

9.4.3  参数说明

表9-1 监控报表参数说明

参数

说明

调用量

显示的监控数据为应用的调用次数

QPS

显示的监控数据为应用每秒向推理服务发送请求的次数峰值

调用总量

勾选此监控项表示会在图表中显示应用的调用总次数,包含调用成功的次数和调用失败的次数。不勾选此监控项表示不会显示调用总次数

调用成功

勾选此监控项表示会在图表中显示应用的调用成功次数,不勾选此监控项表示不会显示调用成功次数

调用失败

勾选此监控项表示会在图表中显示应用的调用失败次数,不勾选此监控项表示不会显示调用失败次数

 


10 系统管理

10.1  授权管理

10.1.1  功能简介

授权管理页面主要用来配置系统授权,支持临时授权和license授权两种授权方式。

图10-1 百业灵犀大模型使能平台授权管理页面

 

10.1.2  注意事项

·     首次登录系统,默认采用临时授权方式。临时授权到期后,必须进行License授权才能继续使用使能平台。

·     通过License授权后,不能切换到临时授权方式。

·     License授权方式下,需要先断开连接才能修改授权信息。断开连接后,为确保系统授权能正常使用,请及时进行授权连接。

·     License授权连接成功后,必须重新登录使能平台。

10.1.3  主要功能-临时授权

首次登录系统,默认使用临时授权。临时授权到期后,必须进行License授权才能继续使用使能平台。

10.1.4  主要功能-License授权

·     授权连接License Server

a.     选择“授权类型”为“License授权”。

b.     输入License ServerIP地址、授权端口号、客户端名称、客户端密码。

c.     填写完授权信息后,单击<授权连接>按钮进行授权。授权连接成功后,页面上会显示License Server授权信息和节点信息。

·     断开连接

单击<断开连接>按钮,与License Server断开连接,断开后已申请的License Server授权全部释放。

·     更新授权信息

单击<更新>按钮,更新授权信息和节点信息。

10.1.5  参数说明

表10-1 License授权参数说明

参数

说明

授权类型

包含两种授权类型:

·     临时授权:用户首次登录系统时,默认使用临时授权。

·     License授权:通过License Server进行授权。

IP地址

License ServerIP地址

授权端口号

License Server的授权服务端口号(102465535

客户端名称

License Server配置的客户端名称

客户端密码

License Server配置的客户端对应的密码

 

10.2  安全服务

10.2.1  功能简介

本功能用于配置百业灵犀大模型使能平台的安全相关配置。

包括三个主要功能:

·     策略配置:主要用于配置北向会话(即将使能平台部署好的模型能力提供给前端AI应用的会话)的安全功能策略。

图10-2 百业灵犀大模型使能平台策略配置页面

 

·     黑白名单配置:黑白名单用于过滤请求的内容。北向用户的请求中包含黑名单的内容时,会被百业灵犀大模型使能平台拒绝;而请求中包含白名单的内容时,则可以获得百业灵犀大模型使能平台的响应和处理。黑白名单配置的主要功能包括新增、修改和删除黑白名单。

图10-3 百业灵犀大模型使能平台黑白名单配置页面

 

·     服务信息配置:用于配置第三方安全服务的接口地址。

图10-4 百业灵犀大模型使能平台服务信息配置页面

 

10.2.2  主要功能

·     策略配置

可以通过按钮选择是否开启北向会话安全配置。单击策略列表“操作”列的<配置策略>按钮,在弹出的对话框中勾选应用的安全策略:

¡     基础安全:百业灵犀大模型使能平台自有安全功能,一般推荐勾选。

¡     百度安全、国瑞安全、数美安全:第三方安全服务接口,用户拥有第三方安全服务使用权限时,可以通过勾选对应安全服务名称来调用第三方安全功能。

¡     黑白名单:勾选后,内容包含黑名单关键字的请求会被大模型使能平台拒绝,内容包含白名单关键字的请求可以从大模型使能平台获得响应和处理。

·     黑白名单配置

¡     新增黑白名单

单击<新增>按钮,在弹出的对话框中,选择新增黑名单或白名单,并且输入黑/白名单的内容,然后单击<确定>按钮,完成黑白名单的新增。

¡     修改黑白名单

单击黑白名单列表“操作”列的<修改>按钮,在弹出的对话框中可以修改黑白名单的配置。

¡     删除黑白名单

单击黑白名单列表“操作”列的<删除>按钮,在弹出的对话框中单击<确定>按钮可以删除指定的黑白名单。

·     服务信息配置

单击服务信息列表“操作”列的<编辑>按钮,在弹出的对话框的“服务配置内容”文本框中输入第三方安全服务的接口地址,并且可以根据需要输入备注。

10.3  字典管理

10.3.1  功能简介

字典用于存储特定的系统参数信息,便于系统进行读取和使用。

本页面用于管理和配置字段。主要包括查询、修改和配置字典功能。

图10-5 百业灵犀大模型使能平台字典管理页面

 

10.3.2  主要功能

·     查询字典

在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的字典。如需清除所有查询条件,显示所有字典,请单击<重置>按钮。

·     修改字典配置

单击字典列表“操作”列的<修改>按钮,在弹出的对话框中可以修改字典的配置。

·     字典详细配置

单击字典列表“字典类型”列的链接,进入字典详细内容配置页面,可以查看字典的详细内容。单击“操作”列的<修改>按钮,可以在弹出的对话框中修改这些内容的值。

10.4  数据备份

10.5  功能简介

数据备份功能可以创建当前系统的数据副本,当遇到数据损坏、意外删除或需要配置回滚时,可以将备份的数据恢复到系统中,为系统提供数据维护手段和安全风险保障。

数据备份的主要功能包括查询、创建、下载、删除以及恢复数据备份。

图10-6 百业灵犀大模型使能平台数据备份页面

 

10.6  主要功能

·     查询数据备份

在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的数据备份。如需清除所有查询条件,显示所有数据备份,请单击<重置>按钮。

·     创建数据备份

单击<立即备份>按钮,在弹出的对话框中输入此次备份的描述,然后单击<确定>按钮,系统开始为当前的数据进行备份创建。

·     下载数据备份

系统数据备份完成后,可以单击数据备份列表“操作”列的<下载>按钮,将数据备份文件下载到用户本地。

·     删除数据备份

系统数据备份完成后,单击数据备份列表“操作”列的<删除>按钮,然后在弹出的对话框中单击<确定>按钮,可以删除指定的数据备份。

·     恢复数据备份

单击<备份恢复>按钮,上传备份数据文件,然后单击<确定>按钮,将数据备份文件中的数据恢复到系统中。

10.7  日志管理

10.7.1  功能简介

日志管理功能记录了百业灵犀大模型使能平台运行过程中产生的各类日志,包括操作日志、登录日志、应用调用日志以及平台接口调用日志。

图10-7 百业灵犀大模型使能平台日志管理页面

 

10.7.2  主要功能

·     操作日志

操作日志记录了操作员在百业灵犀大模型使能平台中进行操作时产生的日志信息。

操作日志可以在操作日志页面通过搜索功能进行过滤查看,也可以在操作日志列表的“操作”列点击<详情>按钮查看指定操作日志的详细信息。

在操作日志列表第一列勾选若干个操作日志,然后单击<删除>按钮,可以删除勾选的操作日志。

单击<清空>按钮,可以一次性删除当前所有的操作日志。

·     登录日志

登录日志记录了用户登录或登出百业灵犀大模型使能平台时生成的日志信息。

登录日志可以在登录日志页面通过搜索功能进行过滤查看。

在登录日志列表第一列勾选若干个登录日志,然后单击<删除>按钮,可以删除勾选的登录日志。

单击<清空>按钮,可以一次性删除当前所有的登录日志。

·     应用调用日志

应用调用日志记录了百业灵犀大模型使能平台创建的应用被调用时产生的日志信息。

应用调用日志可以在应用调用日志页面通过搜索功能进行过滤查看,也可以在应用调用日志列表的“应用名称”列点击按钮查看指定应用调用日志的详细信息。

·     平台接口调用日志

平台接口调用日志记录了百业灵犀大模型使能平台向其他大模型平台调用资源时产生的日志信息。

平台接口调用日志可以在平台接口调用日志页面通过搜索功能进行过滤查看。

10.8  南向配置

10.8.1  功能简介

南向配置用来设置向傲飞平台和百业灵犀平台调用资源时使用的服务参数配置。

图10-8 百业灵犀大模型使能平台南向配置页面

 

10.8.2  主要功能

·     修改南向配置

单击南向配置对应操作列的“修改”按钮,可以修改南向配置。

·     查询南向配置

在页面上方搜索栏中输入或选择搜索条件,然后单击<搜索>按钮,页面会仅显示满足搜索条件的南向配置。如需清除所有查询条件,显示所有南向配置,请单击<重置>按钮。

10.9  部门管理

10.9.1  功能简介

部门管理页面用来创建和管理不同的部门,确定部门之间的从属关系。

图10-9 百业灵犀大模型使能平台部门管理页面

 

10.9.2  注意事项

默认部门为系统预置的部门,不允许删除。

10.9.3  主要功能

·     新增部门

单击页面左上角的<新增>按钮或部门对应操作列的“新增”按钮,设置上级部门、部门名称等信息后,单击<确定>按钮,完成新增部门操作。

·     修改部门

单击部门对应操作列的“修改”按钮,即可修改部门名称、显示排序等。

·     删除部门

单击部门对应操作列的“删除”按钮,删除指定的部门。

10.9.4  参数说明

表10-2 新增部门参数说明

参数

说明

上级部门

新增部门所属的上级部门的名称

部门名称

新增部门的名称

显示排序

新增部门在部门显示列表中的排序编号,取值越大,排序越靠后

负责人

新增部门负责人的姓名

联系电话

新增部门的联系电话

邮箱

新增部门的邮箱地址

部门状态

新增部门的状态,取值包括:

·     正常:该部门可正常使用,可在该部门中添加用户

·     停用:该部门已停用,不能在该部门中添加用户

 

10.10  角色管理

10.10.1  功能简介

角色管理根据业务需求指定某一角色可以操作的菜单项,来实现为不同的角色赋予不同的权限。这些角色再被分配给相应的用户,就可以实现精细化的访问控制。这种基于角色的权限管理方法不仅简化了权限分配过程,还增强了系统的安全性和可管理性。

图10-10 角色管理页面

 

10.10.2  主要功能

·     新增角色

单击<新增>按钮,设置角色名称、权限字符、角色顺序、菜单权限等信息后,单击<确定>按钮,完成新增角色操作。

图10-11 添加角色页面

 

·     修改角色

单击角色对应操作列的“修改”按钮,即可修改角色名称、权限字符、角色顺序、菜单权限等。

·     删除角色

单击角色对应操作列的“删除”按钮,删除指定的角色。

10.10.3  参数说明

表10-3 新增角色参数说明

参数

说明

角色名称

角色的名称

权限字符

角色所拥有权限的描述信息

角色顺序

角色在角色显示列表中的排序编号,取值越大,排序越靠后

状态

角色的状态,取值包括:

·     正常:该角色可正常使用,可以添加属于该角色的用户

·     停用:该角色已停用,不能添加属于该角色的用户

菜单权限

角色所能操作的菜单项。

·     展开/折叠:展开或折叠所有菜单项,以便对菜单项进行选择

·     全选/全不选:同时选择所有菜单项,或同时取消选择所有菜单项

·     父子联动:如果勾选了父子联动,则会同时选择、取消选择父菜单项和子菜单项;如果未点选父子联动,则只会选择、取消选择父菜单项,不会影响子菜单项的选择

备注

角色的备注信息

 

10.11  用户管理

10.11.1  功能简介

用户管理页面用来管理系统内用户的权限、部门归属、账号状态等重要信息。

图10-12 用户管理页面

 

10.11.2  主要功能

·     新增用户

单击<新增>按钮,设置用户名称、归属部门、登录名称、账号状态、角色等信息后,单击<确定>按钮,完成新增用户操作。

图10-13 新增用户页面

 

·     修改用户

单击用户对应操作列的“修改”按钮,即可修改用户名称、归属部门、账号状态、角色等。

·     删除用户

单击用户对应操作列的“删除”按钮,删除指定的用户。

·     重置用户密码

单击用户对应操作列的“重置密码”按钮,可以重新设置用户的登录密码。

10.11.3  参数说明

表10-4 新增用户参数说明

参数

说明

用户名称

系统上用来标识用户的名称

归属部门

用户所属的部门

指定用户归属的部门,有助于组织内部的结构化管理

手机号码

用户的手机号码

邮箱

用户的邮箱地址

登录名称

用户登录系统时使用的登录用户名称

用户性别

用户的性别

账号状态

用户账号的状态,取值包括:

·     正常:用户可以正常登录系统并进行操作

·     停用:用户账号无法登录系统,但保留所有数据

·     锁定:用户账号被系统锁定,暂时无法登录系统。在用户多次尝试登录失败后,系统会自动锁定账号,以防非法用户暴力破解密码。不能手工将用户设置为锁定状态

角色

用户所属的角色

指定角色后,用户将具备该角色拥有的权限

如果没有指定角色,则用户属于普通角色

备注

用户的备注信息

 

 

 

 

新华三官网
联系我们