← 全部标签
ML&DL

Llama优化技术

Feb 10, 2025

详解LLaMA模型的Transformer结构优化技术,包括KV Cache推理加速、GQA分组查询注意力、RMSNorm归一化、SwiGLU激活函数等核心优化策略,附完整代码实现。

推理

© Morgan Woods 2024 - 2026