Semianalysis硬核拆解：AI回答你一句话，背后发生了什么

当你向AI提问并收到回复，这个看似瞬间完成的交互背后，是一套横跨计算、存储、内存与网络调度的复杂工业体系。 9月22日，研究机构SemiAnalysis发布深度技术报告，系统拆解了大模型推理服务的底层架构。从用户发出请求到AI生成每一个token，每个环节如何运作、哪里是瓶颈、什么样的硬件在什么阶段真正创造价值。 报告指出，推理服务并非一个整体，而是由 预填充（Prefill） 、 中间填充（Midfill） 、 解码注意力（Decode Attention） 和 解码专家（Decode Experts） 四个工作阶段构成的"Token工厂"。 这一分析