线性代数学习笔记之向量

1.  向量的概念与线性运算


1.1  向量的概念

引:①:向量中的每个元素称为分量。

       ②:向量中包含了几个分量,就是几维向量。

(1)行向量:

     eg:\alpha = (1,3,6,2)

备注:行向量中的分量一般用逗号分隔开。

(2)列向量:

     eg:\beta =\begin{pmatrix} 1\\ 3\\ 7 \end{pmatrix}

备注:列向量用的比较多。

(3)零向量:

     eg:\alpha = (0,0,0,0)

     eg:\beta =\begin{pmatrix} 0\\ 0\\ 0 \end{pmatrix}

备注:向量中的所有分量都为0。

(4)向量的转置:

     eg:\alpha = (1,5,8)\rightarrow \alpha ^{T}=\begin{pmatrix} 1\\ 5\\ 8 \end{pmatrix}          \beta=\begin{pmatrix} 1\\ 3\\ 8 \end{pmatrix}\rightarrow \beta^{T}=(1,3,8)

备注:\alpha _{1*n}*\beta _{n*1}结果是一个标量。

(5)向量的相等:

      两个向量相等,则两个向量的维数相等,对应位置的分量相等。


1.2  向量的线性运算

(1)向量的加减法:

    遵守原则:1)两个向量的维数相等;2)对应位置的分量相加减相等。

备注:

①:\alpha+\beta =\beta +\alpha (交换律) 

②:(\alpha+\beta)+\gamma =\beta +(\alpha+\gamma)(结合律) 

③:\alpha+0 =0 +\alpha=\alpha0为同维数的零向量)

④:\alpha-\alpha =-\alpha + \alpha=00为同维数的零向量)

⑤:\alpha+\beta=\gamma \Leftrightarrow \beta =\gamma-\alpha\Leftrightarrow\alpha =\gamma-\beta

(2)向量的数乘:

    遵守原则:用数k乘以向量\alpha,就是用k乘以向量\alpha内的每一个分量

备注:

①:1*\alpha =\alpha 

②:(kl)\alpha =k(l\alpha)=l(k\alpha)

③:k(\alpha+\beta ) =k\alpha+k\beta

④:(k+l)\alpha =k\alpha+l\alpha

⑤:k\alpha =0 \Leftrightarrow k = 0 或者 \alpha =0k为实数,\alpha为向量,0是数,0是零向量)

(3)向量的乘法(\gamma= \alpha * \beta):

    遵守原则:1)向量\alpha的列数与向量\beta的行数必须相等

                      2)向量\gamma的行数是向量\alpha的行数,向量\gamma的列数是向量\beta的列数;

                      3)向量\alpha的每行元素分别乘以向量\beta的每列元素,再做和,结果写到相应的行列坐标位置上。


2.  向量的线性组合和线性表示


(1)设\alpha _{1}\alpha _{2}...\alpha _{m}是一组n维向量,k_{1}k_{2}...k_{m}是一组常数,则称

                                   k_{1}\alpha _{1}+k_{2}\alpha _{2}+...+k_{m}\alpha _{m}

         为向量组\alpha _{1}\alpha _{2}...\alpha _{m}的一个线性组合,k_{1}k_{2}...k_{m}称为组合系数。

备注:可联想线性方程组:

①:m为线性方程组中未知量的个数,n为线性方程组中方程的个数。

②:\alpha _{1}\alpha _{2}...\alpha _{m}是线性方程组中系数的组合,k_{1}k_{2}...k_{m}是线性方程组中未知量的组合。

(2)设\beta\alpha _{1}\alpha _{2}...\alpha _{m}都是n维向量,若存在常数k_{1}k_{2}...k_{m},使得关系式

                                 \beta = k_{1}\alpha _{1}+k_{2}\alpha _{2}+...+k_{m}\alpha _{m}

         成立,则称向量\beta是向量组\alpha _{1}\alpha _{2}...\alpha _{m}的线性组合,也称向量\beta可由向量组

### 使用 AutoGPTQ 库量化 Transformer 模型 为了使用 `AutoGPTQ` 对 Transformer 模型进行量化,可以遵循如下方法: 安装所需的依赖包是必要的操作。通过 pip 安装 `auto-gptq` 可以获取最新版本的库。 ```bash pip install auto-gptq ``` 加载预训练模型并应用 GPTQ (General-Purpose Tensor Quantization) 技术来减少模型大小和加速推理过程是一个常见的流程。下面展示了如何利用 `AutoGPTQForCausalLM` 类来进行这一工作[^1]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer from auto_gptq import AutoGPTQForCausalLM model_name_or_path = "facebook/opt-350m" quantized_model_dir = "./quantized_model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) # 加载已经量化的模型或者创建一个新的量化器对象用于量化未压缩过的模型 gptq_model = AutoGPTQForCausalLM.from_pretrained(quantized_model_dir, model=model, tokenizer=tokenizer) ``` 对于那些希望进一步优化其部署环境中的模型性能的人来说,`AutoGPTQ` 提供了多种配置选项来自定义量化参数,比如位宽(bit-width),这有助于平衡精度损失与运行效率之间的关系。 #### 注意事项 当处理特定硬件平台上的部署时,建议查阅官方文档以获得最佳实践指导和支持信息。此外,在实际应用场景之前应该充分测试经过量化的模型以确保满足预期的质量标准。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值