一千零一夜的博客

如下上下文输入的是前4个tokens（逐渐增加输入tokens，理论上可以无限多个，但是实际计算量太大，会限制输入个数作为最大上下文长度），下一个token是3962，预测此token的概率。网络输出的是一个 100277维度的概率分布，每一个位置表示下一个是对应token的概率。：生成下一个 Token 时，始终基于已生成的历史内容，逐步扩展序列，直至满足终止条件（如达到指定长度或生成结束符）。语言模型训练的核心逻辑：基于上下文序列，预测下一个 token 的概率分布，并通过监督学习优化模型参数。

Query 来自一个序列（如解码器），Key/Value 来自另一个序列（独立的外部源，如编码器），用于处理两个序列之间的交互。（输入的实际信息），value是最终加权求和的内容，权重由query和key的相似度决定。（输入的特征），key用于与query计算相似度，确定哪些部分与当前query最相关。（当前关注点），例如，在处理句子时，query代表当前需要处理的词或位置。：Query、Key、Value 来自同一输入，用于捕捉序列内部的依赖关系。多头自注意力：由多个并行的自注意力组成。

简单的二元语言模型bigram实现

纯本地部署大模型，并使用RAG微调模型。

LoRA算法是通过低秩矩阵调整原始模型的权重，并没有修改权重本身，所以需要将LoRA权重合并到原始权重，生成一个新的完整权重。先点击卸载模型，卸载deepseek-r1-1.5b-distill模型，再加载微调后的模型。机器自带了conda，这些修改conda的配置，将虚拟环境配置在数据盘，这样关闭机器后，此虚拟环境不会清空，且此机器资源不足时，可以将此虚拟环境克隆到另一个空闲机器上。注意关机后，可以此机器后会被其他人征用，再次开机需等待他的释放。这里的按照量计费，是开机使用则开始计费，关机这不计费。

强化学习

Parameter-Efficient Fine-tuning, PEFT

多gpu训练

显存占用

生成式AI项目的生命周期

大模型推理参数

transformer结构