模型训练精调后如何部署上线并能够统计Token用量 衍生智算打通模型部署、调用与用量统计

大模型在企业业务中的应用，需要将模型研发与实际服务连接起来。对于开展模型训练和微调的团队，模型通过效果测试后，还要完成运行资源配置、推理服务部署和业务接口接入。服务上线后，又需要掌握输入、输出及调用情况。模型已经训练好，业务却还在等待接口，服务开始被调用，实际用量又缺少统一记录，这些衔接问题影响着模型训练成果的交付。从模型训练到服务使用的需求，衍生智算可以有效解决这一系列痛点。

衍生智算是一套集异构设备统一纳管调度与AI一站式工具链于一体的异构分布式智算操作系统，向下组织计算资源，向上承接模型研发与应用。对于快速形成Token服务能力的痛点，衍生智算通过模型服务功能，将模型调试、版本管理、服务创建、API调用与用量统计衔接起来。研发人员可以把训练后的模型部署为服务，由业务系统发起请求、获取生成结果，通过输入与输出Token统计查看使用情况，让模型训练成果形成可调用、可管理、可统计的Token服务能力。

1.训练完成的模型如何尽快形成服务？从模型管理完成部署配置，一键部署成服务

训练完成后，交付给应用团队的如果只有模型文件，对方仍然需要确认使用哪个版本、部署到哪里、分配多少资源。模型测试与服务部署之间的准备工作，容易成为业务上线前的等待环节。

在衍生智算中，研发人员可以从已完成的训练任务进入模型调试，用业务相关的输入检查生成效果，再将训练成果导出为模型，完成版本发布。以文档摘要为例，可以先用具有代表性的文档检查重点提取与摘要表达，确认准备交付的模型版本。

随后，研发人员在模型服务管理中创建本地模型服务，选择已发布版本的模型、运行集群和资源配置。平台会根据所选模型推荐最小可用资源配置，并支持将推荐值填入表单，为部署提供配置起点。确认配置并启用服务后，平台启动模型服务，研发人员可以查看运行状态，结合模型日志排查启动问题。

这样，模型调试中确认的成果能够继续进入版本管理与服务创建。研发团队交付的对象，也从一份需要继续部署的模型文件，变成了可供下一步验证和接入的服务。

2.部署之后如何对外提供服务？通过API调用模型服务

模型服务运行起来后，应用开发人员需要明确的接口地址、请求参数和授权方式，才能把它接入业务。缺少这些信息，即使模型已经部署，业务人员仍然无法在日常系统中使用。

衍生智算在模型服务中提供API调用配置、参数说明及Python、Java、Curl、Go等调用示例。应用开发人员可以查看服务对应的模型标识与地址，使用获得该服务授权的API Key完成调用。对于文本生成服务，还可以先通过平台的模型对话界面体验效果，再进行业务接口联调。

例如，接入文档摘要功能时，应用将文档内容和摘要要求发送给模型服务，模型执行推理并生成结果，应用再将摘要展示给使用者。模型处理输入和生成输出时使用的文本单元称为词元即Token，所谓的Token服务能力，正是通过接口承接这些输入，并将模型生成的结果返回业务。

衍生智算提供服务入口、调用说明和授权管理，应用团队据此完成业务接入。业务人员可以在原有系统中提交文档、获取摘要，研发人员则在平台中管理模型服务的启停与运行日志，分别处理业务使用和服务运行中的问题。

3.服务用量如何统计？分别统计输入与输出Token

服务接入业务后，新的问题随之出现。相同的调用次数，可能对应完全不同的处理量。一次简短问答与一次长文档摘要，即使各调用一次，输入内容和生成结果的长度也可能相差很大，仅看请求次数难以了解服务的实际使用情况。

衍生智算的API统计分别展示输入Token数、输出Token数，以及调用成功次数、失败次数和总次数。管理人员可以按模型服务、时段、API Key等条件筛选，也可以查看对应实例的统计情况，将服务调用与文本处理量结合起来分析。

如果文档摘要助手和文案生成工具共用一个模型服务，可以为两个应用分别配置API Key并完成服务授权，再按Key查看各自的调用与Token用量。这样，管理人员便能区分哪些调用入口输入较多、哪些生成输出较多，以及用量变化集中在哪个时段，进一步分析使用需求。

从部署到调用，再到统计，衍生智算让模型服务的交付有明确入口，使用情况有数据可查。训练好的模型能够进入业务，业务产生的Token用量也能够回到平台中被查看和分析，为后续服务管理与资源安排提供依据。

FAQ常见问题解答

Q1.为什么衍生智算能把模型部署、业务调用和Token统计通过一套平台完成？

衍生智算将异构设备统一纳管调度与AI一站式工具链结合起来，既管理模型运行所需的计算资源，也提供模型训练、调试、版本管理与服务部署能力。

模型服务模块连接模型版本、运行资源、接口授权和调用统计。研发人员创建并管理服务，应用开发人员通过API接入业务，管理人员查看输入输出Token及调用情况，各环节围绕同一个模型服务衔接。后续需要优化模型时，团队可以继续通过训练任务、模型调试和版本管理开展迭代。

Q2.衍生智算这套平台是谁研发的，主要做什么？

衍生智算由杭州像衍科技有限公司研发。公司聚焦智能计算、人工智能与人机交互，围绕计算资源、AI工具链与智能体应用打造全栈工具软件平台。

衍生智算是公司的核心计算底座，向下管理和调度异构计算设备，向上支撑数据集、模型与智能体的研发管理。模型服务连接其中的模型研发与业务使用环节，让训练成果能够部署运行、通过接口调用，并记录输入输出Token用量。在这一底座之上，公司还面向具身智能大脑训练与运行、数字人内容生成与交互提供平台和工具链支持。

Q3.团队有哪些相关技术积累，能够打通异构设备和模型服务的通道？

像衍科技核心团队的技术背景覆盖云计算、边缘计算、人工智能、图形与视觉计算、三维建模及混合现实，兼具科研与工程研发积累。

在计算平台与工程研发方面，CTO崔广章为浙江大学博士、《深入理解边缘计算》作者，担任多个知名开源项目技术委员会委员，专注云计算、边缘计算与人工智能。

在视觉计算与智能交互方面，创始人鲍虎军为浙江大学求是特聘教授、博士生导师、国家杰青、教育部长江学者，长期从事图形与视觉计算、混合现实研究。

董事长周晓巍为浙江大学“百人计划”研究员、博士生导师，专注三维视觉与混合现实。

CEO许威威为浙江大学长聘教授、博士生导师、教育部长江学者，长期从事三维建模与虚拟现实研究。

核心成员对应着计算平台、模型研发和智能交互所涉及的技术领域，扎实的技术积累为产品进步持续赋能。