• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 新华三人才研学中心
  • 关于我们
docurl=/cn/Products_And_Solution/LinSeer/Ability/202308/1905505_473262_0.htm

大模型全栈能力,一站式应用部署

【发布时间:2023-08-10】

一、 新华三 MaaS(Models as a Service) 整体架构

手机屏幕截图

描述已自动生成

  1. AI助手,提供AI原生用户体验,支持自然语言人机对话,支持本地知识库挂载,提供自定义插件机制扩展能力
  2. 行业专属API服务,补足百业灵犀能力短板、为长尾客户提供标准服务、回流行业共性及可公开数据用于再训练、私有化部署模型升级更新
  3. 大模型推理和被集成,大模型私有化部署、应用集成改造、大模型使能平台提供统一API入口
  4. 大模型训练和微调,基于新华三大模型基础设施和模型专家服务,通过模型微调或增量预训练的方式,进行大模型行业化能力定制

二、 大模型训练和微调

1、 大模型微调

微调的核心业务目标,是提升大模型的行业知识增强、上下文长度扩充、归纳提取分析推理能力增强,从而适配行业场景的专属应用。

• 提供丰富的微调工具fine-tune\Lora\p-tunning可供选择,满足行业用户连续对话、智能问答、逻辑推理、数学运算,代码生成等需求。

• 提供全面的效果评估指标和工具,持续优化模型效果。

• 微调流程可视化,实现流程可见,结果可控。

图片包含 日程表

描述已自动生成

2、 大模型训练

平台提供大模型开发训练所需的训练框架软件,支持3D并行训练规划和训练时长预估工具

支持训练过程涉及资源的可视以及提供异常环境自动感知,作业自动恢复能力

无损网络方案支持端到端业务保障,包括精细化调优、丰富的端到端可视、端到端性能评估

三、 大模型推理/被集成

1、 大模型推理

新华三大模型推理架构,针对千亿、万亿级参数模型设计,支持分布式推理特性,推理实例可根据业务访问量弹性伸缩,推理结果可快速应用于业务系统

通过大模型使能平台和算力调度平台,可实现推理全流程小时级一键部署提供大模型轻量化优化手段,最大可降低推理资源80%。支持国产化推理资源池。

图形用户界面, 日程表

描述已自动生成

2、 大模型使能平台(LinSeer Hub)

大模型使能平台(LinSeer Hub),是大模型一站式服务平台,集成AI助手,帮助行业客户用好大模型,快捷构建智能应用,实现“模型使用自由”。

大模型使能平台包含提示词工程、知识库、推理服务、插件服务和评估优化五大核心功能模块,实现 8 项关键特性,致力于增强大模型的行动能力、提升模型准确度、提升用户的使用体验。

8项关键特性如下:

任务拆解:全自动任务执行,无需人工干预即可完成。基于大模型的循环提问完成整体逻辑,不断自我迭代,优化结果

提示词工程:基于预置的通用或者行业场景模板,快速完成提示词配置,提升回答精准度

长短期记忆能力:将对话添加到Prompt中,为大模型提供思考素材或知识,辅助大模型完成对下一步行动的判断

插件应用:通过插件对接三方应用扩展大模型的功能,帮助用户快速构建应用,满足个性化需求

行业知识库:针对专业领域帮助大语言模型回复用户问题,满足专业性和准确性需求,同时可作为长期记忆存储用户使用LLM的数据,用于检索历史提问或为微调提供数据

模型资源和配置优化:南向推理平台API,可统一适配百业灵犀或其它第三方推理平台,使能平台纳管各平台模型,根据管理模型下发推理资源及超参配置,统一呈现推理服务及运行指标

服务编排:通过托拉拽方式完成任务流创建,编排工作流,避免无擦欧总,提升用户的工作效率

模型评估:用于大模型场景评估和指标呈现,实现模型指标的统一监控,帮助用户基于业务场景能力需求进行模型选择

大模型使能平台优势亮点:

模型灵活集成,通用适配各类大模型

流程自动智能,解放客户生产力

能力无限拓展,建立大模型应用插件生态

行业专属适配,专注大模型行业场景适配

安全多重保障,保障客户信息安全与隐私

四、 百业灵犀AI助手(LinSeer Copilot)

百业灵犀AI助手(LinSeer Copilot用户使用大模型的统一入口,基于提示词模版、插件功能,内置了通用助手、行业场景助手模版,以及自定义助手功能,支持网页端、移动端接入,支持集成到应用端,用户可快速上手,提升使用模型精确度,轻松“掌”控大模型。

新华三官网
联系我们