前言

近年來，大語言模型（Large Models, LLMs）受到學術界和工業(yè)界的廣泛關注，得益于其在各種語言生成任務上的出色表現(xiàn)，大語言模型推動了各種人工智能應用（例如ChatGPT、Copilot等）的發(fā)展。然而，大模型的落地應用受到其較大的推理開銷的限制，對部署資源、用戶體驗、經(jīng)濟成本都帶來了巨大挑戰(zhàn)。

大模型壓縮，即將大模型“瘦身”后塞進資源受限的場景，以減少模型存儲、訪存和計算開銷。在盡量不損失模型性能的前提下，提高大模型推理吞吐速度，使大模型在物聯(lián)網(wǎng)邊緣設備、嵌入式機器人、離線移動應用等邊、端場景中保持優(yōu)秀的推理性能和功耗表現(xiàn)。

就在最近，來自清華大學電子工程系、無問芯穹和上海交通大學的研究團隊展開了一次量化方案的“大摸底”，在《Evaluating Quantized Large Language Models 》（Qllm-Eval）這項工作中評估了不同模型、量化不同張量類型、使用不同量化方法、在不同任務上的性能，本篇工作已被ICML'24接收。Qllm-Eval列舉出很多大模型落地環(huán)節(jié)應當關注的模型能力，對產(chǎn)業(yè)中的模型量化工作實踐，比如如何選取量化方法、針對哪些層或組件進行優(yōu)化等問題具有指導意義，下圖是羅列的一些重要知識點。

訓練后量化(Post-Training Quantization，PTQ)

大模型推理過程包括兩個階段：Prefill階段和Decoding階段：

• Prefill階段的主要算子為矩陣-矩陣乘（GEMM），其推理速度受限于計算速度。

• Decoding階段的主要算子為矩陣-向量乘（GEMV），其推理速度主要受限于訪存速度。

• 當處理涉及長文本或大批量大小的任務時，KV Cache的存儲開銷會超過權重的存儲開銷。

訓練后量化（Post-Training Quantization，PTQ）是大模型壓縮的常用技術，其核心原理是將大模型的權重、激活值、KV Cache使用低精度格式表示，從而降低大模型在存儲和計算上的開銷。

在深度學習模型中，權重（weights）、激活值（activations）和鍵值緩存（KV Cache）等數(shù)值通常以32位或16位的浮點數(shù)（floats）來表示，這些浮點數(shù)可以有非常精確的數(shù)值，但同時也意味著模型會占用較大的存儲空間，并且需要比較多的計算資源來處理。

如果將浮點數(shù)從16位轉(zhuǎn)換成8位或者更低，好處是模型的大小會顯著減少，因為每個參數(shù)只需要不到50%的存儲空間，同時，使用整數(shù)進行計算通常比浮點數(shù)更快。

不同量化方式給大模型帶來的影響

但量化壓縮通常是有損的，不同量化方式的設計會對模型性能帶來不同的影響。為了探究不同量化方式對不同模型究竟會產(chǎn)生什么樣的影響，并幫助特定模型選擇更適合的量化方案，來自清華大學電子工程系、無問芯穹和上海交通大學的研究團隊展開了一次量化方案的“大摸底”，在《Evaluating Quantized Large Language Models 》（Qllm-Eval）這項工作中評估了不同模型、量化不同張量類型、使用不同量化方法、在不同任務上的性能。

Qllm-Eval評測的量化張量類型包括權重（W）、權重-激活（WA）、KV Cache（KV），通過評估 PTQ 對 11 個系列模型（包括 OPT、LLaMA2、Falcon、Bloomz、Mistral、ChatGLM、Vicuna、LongChat、StableLM、Gemma 和 Mamba）的權重、激活和 KV 緩存的影響，對這些因素進行了全面評估，覆蓋了從 125M 到 180B的參數(shù)范圍。另外還評估了最先進的 （SOTA） 量化方法，以驗證其適用性。同時在大量實驗的基礎上，系統(tǒng)總結了量化的效果，提出了應用量化技術的建議，并指出了大模型量化工作未來的發(fā)展方向。

大模型推理效率瓶頸分析

目前主流的大語言模型都是基于Transformer架構進行設計。通常來說，一個完整的模型架構由多個相同結構的Transformer塊組成，每個Transformer塊則包含多頭自注意力（Multi-Head Self-Attention, MHSA）模塊、前饋神經(jīng)網(wǎng)絡（Feed Forward Network, FFN）和層歸一化（Layer Normalization，LN）操作。

大語言模型通常自回歸（Auto-regressive）的方式生成輸出序列，即模型逐個詞塊生成，且生成每個詞塊時需要將前序的所有詞塊（包括輸入詞塊和前面已生成的詞塊）全部作為模型的輸入。因此，隨著輸出序列的增長，推理過程的開銷顯著增大。為了解決該問題，KV緩存技術被提出，該技術通過存儲和復用前序詞塊在計算注意力機制時產(chǎn)生的Key和Value向量，減少大量計算上的冗余，用一定的存儲開銷換取了顯著的加速效果?；贙V緩存技術，通?？梢詫⒋笳Z言模型的推理過程劃分為兩個階段（分別如下左圖和右圖所示）：

左：預填充（Prefilling）階段：大語言模型計算并存儲輸入序列中詞塊的Key和Value向量，并生成第一個輸出詞塊。

右：解碼（Decoding）階段：大語言模型利用KV緩存技術逐個生成輸出詞塊，并在每步生成后存儲新詞塊的Key和Value向量。

數(shù)據(jù)層優(yōu)化技術

數(shù)據(jù)層優(yōu)化技術可以劃分為兩大類：輸入壓縮（Input Compression）和輸出規(guī)劃（Output Organization）。

輸入壓縮技術

在實際利用大語言模型做回答時，通常會在輸入提示詞中加入一些輔助內(nèi)容來增強模型的回答質(zhì)量，例如，上下文學習技術（In-Context Learning，ICL）提出在輸入中加入多個相關的問答例子來教模型如何作答。然而，這些技術不可避免地會增長輸入詞提示的長度，導致模型推理的開銷增大。為了解決該問題，輸入壓縮技術通過直接減小輸入的長度來優(yōu)化模型的推理效率。

本綜述將該類技術進一步劃分為四個小類，分別為：

• 提示詞剪枝（Prompt Pruning）：通常根據(jù)設計好的重要度評估指標刪除輸入提示詞中不重要的詞塊、句子或文段，對被壓縮的輸入提示詞執(zhí)行在線壓縮。

• 提示詞總結（Prompt Summary）：通過對輸入提示詞做文本總結任務，在保證其語義信息相同地情況下縮短輸入的長度。該壓縮過程通常也是在線執(zhí)行的。

• 基于軟提示詞的壓縮（Soft Prompt-based Compression）：通過微調(diào)訓練的方式得到一個長度較短的軟提示詞，代替原先的輸入提示詞（在線執(zhí)行）或其中固定的一部分內(nèi)容（離線執(zhí)行）。其中，軟提示詞指連續(xù)的、可學習的詞塊序列，可以通過訓練的方式學習得到。

• 檢索增強生成（Retrieval-Augmented Generation）：通過檢索和輸入相關的輔助內(nèi)容，并只將這些相關的內(nèi)容加入到輸入提示詞中，來降低原本的輸入長度（相比于加入所有輔助內(nèi)容）。

輸出規(guī)劃技術

傳統(tǒng)的生成解碼方式是完全串行的，輸出規(guī)劃技術通過規(guī)劃輸出內(nèi)容，并行生成某些部分的的輸出來降低端到端的推理延時。以該領域最早的工作“思維骨架”（Skeleton-of-Thought，以下簡稱SoT）為例，SoT技術的核心思想是讓大語言模型自行規(guī)劃輸出的并行結構，并基于該結構進行并行解碼，提升硬件利用率，減少端到端生成延時。

具體來說，如下圖所示，SoT將大語言模型的生成分為兩個階段：在提綱階段，SoT通過設計的提示詞讓大語言模型輸出答案的大綱；在分點擴展階段，SoT讓大語言模型基于大綱中的每一個分點并行做擴展，最后將所有分點擴展的答案合并起來。SoT技術讓包含LLaMA-2、Vicuna模型在內(nèi)的9種主流大語言模型的生成過程加速1.9倍以上，最高可達2.39倍。在SoT技術發(fā)布后，一些研究工作通過微調(diào)大語言模型、前后端協(xié)同優(yōu)化等方式優(yōu)化輸出規(guī)劃技術，達到了更好的加速比和回答質(zhì)量之間的權衡點。

未來方向

本文進一步總結了未來的四個關鍵應用場景，并討論了高效性研究在這些場景中的重要性：

• 智能體和多模型框架。在最近的研究中，大語言模型智能體和多模型協(xié)同框架受到了許多關注，這類技術可以提升大語言模型的應用能力，使得模型能更好地服務于人類。然而模型的數(shù)量增多，以及輸入到模型中的指令變長，都會使得智能體或框架系統(tǒng)的推理效率變低。因此需要面向這些框架和場景進行大模型的推理效率優(yōu)化。

• 長文本場景。隨著輸入模型文本變得越來越長，大語言模型的效率優(yōu)化需求變得愈發(fā)提升。目前在數(shù)據(jù)層、模型層和系統(tǒng)層均有相關的技術來優(yōu)化長文本場景下大語言模型的推理效率，其中設計Transformer的替代新架構受到了許多關注，然而這類架構還未被充分探索，其是否能匹敵傳統(tǒng)的Transformer模型仍未清楚。

• 邊緣端部署。最近，許多研究工作開始關注于將大語言模型部署到邊緣設備上，例如移動手機。一類工作致力于設計將大模型變小，通過直接訓練小模型或模型壓縮等途徑達到該目的；另一類工作聚焦于系統(tǒng)層的優(yōu)化，通過算子融合、內(nèi)存管理等技術，直接將70億參數(shù)規(guī)模的大模型成功部署到移動手機上。

• 安全-效率協(xié)同優(yōu)化。除了任務精度和推理效率外，大語言模型的安全性也是一個需要被考量的指標。當前的高效性研究均未考慮優(yōu)化技術對模型安全性的影響。若這些優(yōu)化技術對模型的安全性產(chǎn)生了負面影響，一個可能的研究方向就是設計新的優(yōu)化方法，或改進已有的方法，使得模型的安全性和效率能一同被考量。

• 
  

• 推薦使用NVIDIA RTX 40 顯卡做模型推理：
  

http://www.ezyhdfw.cn/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo