产品介绍

随着chatGPT的风靡全球,以大模型技术为核心的生成式AI领域获得广泛的关注和应用。

南京云创大数据科技股份有限公司自主研发的cGPT大模型训练推理一体机,是一款统一的大模型训练和推理平台,可以实现对大模型的全生命周期管理,包括数据集的管理,模型的训练、评估和推理,平台性能的监控和管理等。cGPT大模型训练推理一体机支持海量数据私有化、本地化训练部署和推理、全面支持国产化,能更好地适应中国的语言环境和文化背景,满足中国用户的需求。在保证用户数据隐私的前提下,cGPT可广泛应用于智能写作、智能问答、自然语言生成、机器翻译等多个领域。

产品特性

高算力配置
国产化适配

cGPT大模型训练推理一体机内置最高8块通用型GPU计算卡,显存最高可达640GB,单卡FP32精度算力可达37TFLOPS,FP16/BF16精度算力为147TFLOPS,INT8精度算力为295TOPS,支持INT32与INT16计算、支持多精度数据类型标准/混合训练。

cGPT大模型训练推理一体机除支持主流NVIDIA计算卡以外,根据用户生产环境需要,还可支持全国产化方案,采用国产服务器准系统、CPU、GPU与操作系统,适用于有特殊安全需求的客户。主流大模型相关配套框架均作适配,移植便捷,用户训练无需进行大量修改。

私有化部署
一站式方案

cGPT大模型训练推理一体机可支持数据私有化,服务本地化部署,无需连接公共互联网即可提供服务,杜绝用户数据泄漏风险。通过本地文件服务器对本地模型进行管理和版本控制,实现模型部署本地化。通过本地大数据平台对用户业务数据进行采集、处理、分析、构建,实现用户业务数据私有化。利用全面的访问控制系统,对需要进行外网访问的数据信息进行脱敏过滤,在确保用户数据安全性的前提下,保障本地服务功能的完整性。

cGPT大模型训练推理一体机构建了一站式部署、定制扩展方案,使得用户无需掌握专业的人工智能知识,即可轻松拥有大模型提供的各种能力。通过一套完整的、用户友好的可视化平台,可简单实现大模型的训练、部署和服务提供;提供丰富的场景功能,用户可根据专业需求,利用提示模板技术实现专业定制的大模型应用,例如智能专业写作、智能行业查询等。

技术规格

应用领域

面向内网使用
cGPT大模型训练推理一体机可以消化内部资料,为公检法等涉密的系统单位提供资料查询、数据比对、文档撰写等多元服务,在保障信息安全的前提下,为用户单位的决策效率提供强力支持,扮演单位内部员工、领导的“个人个性化数字助手”。
面向特定领域
cGPT大模型训练推理一体机在教育、法律、银行等特定领域有着广泛的应用场景。尤其善于消化前沿的信息与科技成果,提供与之匹配的新信息。分析数据、编写代码、编写文案、回答疑问,提供信息服务,满足信息咨询,以此助力高效工作,为特定领域带来更准确和个性化的服务。