LLM 是 Large Language Model 的缩写，是 [[AI]] 领域中的一种模型。
- [[GPT]]
- [[LLaMA]]
- [[LLaMA2]]
- [[Coda Llama]]
- [[LaMDA]]
命名规范
- Instruct: 表示指令微调模型，对话体验更好，理解能力更强
量化方式
质量排序（从高到低）：
fp32 > fp16/bf16 > q8_0 > q6_K > q5_K_M > q5_0 > q4_K_M > q4_0 > q3_K_M > q2_K
文件大小排序（从大到小）：
fp32 > fp16 > q8_0 > q6_K > q5_K_M > q4_K_M > q3_K_M > q2_K