速点信息请求根据动态推理图优化的大言语模型低推迟推理办法专利下降再捕获与发动开支

  国家知识产权局信息数据显现，福建省速点信息科技有限公司请求一项名为“一种根据动态推理图优化的大言语模型低推迟推理办法”的专利，揭露号CN121072787A，请求日期为2025年11月。

  专利摘要显现，本发明揭露一种根据动态推理图优化的大言语模型低推迟推理办法，提出一种根据动态推理图优化的低推迟推理办法；构建可重写并回放的模板推理图，按输入形状向量树立模板库；推理时以间隔阈值匹配模板，超阈值仅对注意力/前馈子图进行部分再捕获；履行前向履行图注入键值缓存页指针、数值精度与适配器标识并回放；区分预填充与解码子图施行图级调度；对要害算子在规范/快速内核及不同精度间运行时切换；经过影子页表与引证计数完成估测分支的页级回退，并根据在线目标自适应调整批量与模板挑选；与现有计划比较，本发明下降再捕获与发动开支，按捺尾推迟与颤动，进步硬件利用率与服务稳定性。

  天眼查资料显现，福建省速点信息科技有限公司，成立于2015年，坐落泉州市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本1188万人民币。经过天眼查大数据分析，福建省速点信息科技有限公司共对外出资了1家企业，产业线条，此外企业还具有行政许可6个。

  声明：商场有危险，出资需谨慎。本文为AI根据第三方数据生成，仅供参考，不构成个人出资主张。