欢迎user
微调的核心业务目标,是提升大模型的行业知识增强、上下文长度扩充、归纳提取、分析、推理能力增强,从而适配行业场景的专属应用。
• 提供丰富的微调工具:fine-tune\Lora\p-tunning可供选择,满足行业用户连续对话、智能问答、逻辑推理、数学运算,代码生成等需求。
• 提供全面的效果评估指标和工具,持续优化模型效果。
• 微调流程可视化,实现流程可见,结果可控。
平台提供大模型开发训练所需的训练框架软件,支持3D并行训练规划和训练时长预估工具
支持训练过程涉及资源的可视以及提供异常环境自动感知,作业自动恢复能力
无损网络方案支持端到端业务保障,包括精细化调优、丰富的端到端可视、端到端性能评估
新华三大模型推理架构,针对千亿、万亿级参数模型设计,支持分布式推理特性,推理实例可根据业务访问量弹性伸缩,推理结果可快速应用于业务系统
通过大模型使能平台和算力调度平台,可实现推理全流程小时级一键部署提供大模型轻量化优化手段,最大可降低推理资源80%。支持国产化推理资源池。
大模型使能平台(LinSeer Hub),是大模型一站式服务平台,集成AI助手,帮助行业客户用好大模型,快捷构建智能应用,实现“模型使用自由”。
大模型使能平台包含提示词工程、知识库、推理服务、插件服务和评估优化五大核心功能模块,实现 8 项关键特性,致力于增强大模型的行动能力、提升模型准确度、提升用户的使用体验。
8项关键特性如下:
任务拆解:全自动任务执行,无需人工干预即可完成。基于大模型的循环提问完成整体逻辑,不断自我迭代,优化结果
提示词工程:基于预置的通用或者行业场景模板,快速完成提示词配置,提升回答精准度
长短期记忆能力:将对话添加到Prompt中,为大模型提供思考素材或知识,辅助大模型完成对下一步行动的判断
插件应用:通过插件对接三方应用扩展大模型的功能,帮助用户快速构建应用,满足个性化需求
行业知识库:针对专业领域帮助大语言模型回复用户问题,满足专业性和准确性需求,同时可作为长期记忆存储用户使用LLM的数据,用于检索历史提问或为微调提供数据
模型资源和配置优化:南向推理平台API,可统一适配百业灵犀或其它第三方推理平台,使能平台纳管各平台模型,根据管理模型下发推理资源及超参配置,统一呈现推理服务及运行指标
服务编排:通过托拉拽方式完成任务流创建,编排工作流,避免无擦欧总,提升用户的工作效率
模型评估:用于大模型场景评估和指标呈现,实现模型指标的统一监控,帮助用户基于业务场景能力需求进行模型选择
大模型使能平台优势亮点:
• 模型灵活集成,通用适配各类大模型
• 流程自动智能,解放客户生产力
• 能力无限拓展,建立大模型应用插件生态
• 行业专属适配,专注大模型行业场景适配
• 安全多重保障,保障客户信息安全与隐私
百业灵犀AI助手(LinSeer Copilot)用户使用大模型的统一入口,基于提示词模版、插件功能,内置了通用助手、行业场景助手模版,以及自定义助手功能,支持网页端、移动端接入,支持集成到应用端,用户可快速上手,提升使用模型精确度,轻松“掌”控大模型。