欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/142528967
免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
GitHub：
- FlashAttention: h
