用于深度学模型的矩阵压缩方法和装置

摘要

本发明的实施方式提供了一种用于深度学模型的矩阵压缩方法和装置，其中所述深度学模型的最后一层线性层连接M个隐节点和N个分类节点，所述最后一层线性层对应有权重矩阵W。所述方法包括：步骤S101：根据所述权重矩阵W的元素的绝对值，计算K值；以及步骤S102：将所述最后一层线性层分解为第一线性层和第二线性层，其中所述第一线性层的权重矩阵为M*K的矩阵P，所述第二线性层的权重矩阵为K*N的矩阵Q，所述第一线性层的输出为所述第二线性层的输入，且M*N>K*(M+N)，以将所述权重矩阵W压缩。

主权项

一种用于深度学习模型的矩阵压缩方法，其中所述深度学习模型的最后一层线性层连接M个隐节点和N个分类节点，所述最后一层线性层的权重矩阵$W=\left[\begin{array}{ccc}{w}_{11}& & w_{1N}\\ & ...& \\ w_{M1}& & w_{MN}\end{array}\right],$所述方法包括：步骤S101：根据所述权重矩阵W的元素的绝对值，计算K值；以及步骤S102：将所述最后一层线性层分解为第一线性层和第二线性层，其中所述第一线性层的权重矩阵为M*K的矩阵$P=\left[\begin{array}{ccc}{p}_{11}& & p_{1K}\\ & ...& \\ p_{M1}& & p_{MK}\end{array}\right],$所述第二线性层的权重矩阵为K*N的矩阵$Q=\left[\begin{array}{ccc}{q}_{11}& & q_{1N}\\ & ...& \\ q_{K1}& & q_{KN}\end{array}\right],$所述第一线性层的输出为所述第二线性层的输入，且M*N>K*(M+N)，以将所述权重矩阵W压缩。