GBT+45907-2025人工智能 服务能力成熟度评估和 国 国 家 标 准 GB/T45907—2025 人工智能 服务能力成熟度评估 Artificialintelligence—Servicecapabilitymaturityassessment 2025-06-30发布 2025-06-30实施 国 家 市 场 监 督 管 理 总 局 国 家 标 准 化 管 理 委 员 会 发 布 目 次 前言 Ⅲ ………………………………0 光粒 | 27 页 | 491.45 KB | 1 年前3
深入理解 AI Infra:量化分析与系统设计多轮 请求平均 5953 个;这里则假设 GPU 一直在对 8K 请求执行 prefill。前缀命中越多、每 token 的 KV 越小(例 如 MLA),𝑟 就越低。𝑇 取决于由谁发起下一轮:人工对话的间隔以分钟计,程序调用的间隔以秒计。 容量越大,命中率提高得越慢。容量只能保留将来会被复用的状态,而有些状态不会再被使用。Mooncake 公开了 Kimi 线上服务一小时的采样 trac…1 光粒 | 536 页 | 7.93 MB | 5 天前3
共 2 条
- 1
