理工酷

卷积神经网络的深度和规模不断增长，对在移动端部署深度学习构成了巨大挑战。 CNN模型的压缩和加速已成为学术界和业界关注的研究领域之一。

自AlexNet赢得ILSVRC 2012 ImageNet图像分类竞赛以来，卷积神经网络（CNN）的兴起席卷了整个计算机视觉领域。 CNN模型迅速取代了传统的手工特征和分类器。它不仅提供了端到端的处理方法，而且还大大刷新了各种图像竞赛任务的准确性，甚至超过了人眼的准确性（LFW人脸识别任务）。当CNN模型接近计算机视觉任务的精度极限时，其深度和大小也在加倍。

表1几种经典模型的大小，计算量和参数量

接踵而至的问题是：如此庞大的模型只能在有限的平台上使用，根本无法移植到移动和嵌入式芯片上。即使通过网络进行传输，高带宽占用也不容乐观。另一方面，大型模型也对设备的功耗和运行速度提出了巨大的挑战。因此，要使这种模型切实可行，还有很长的路要走。

在这种情况下，模型的小型化和加速已成为亟待解决的问题。实际上，早期学者已经提出了包括修剪和矩阵SVD分解在内的一系列CNN模型压缩方法，但是压缩率和效率远不能令人满意。

近年来，从压缩的角度来看，用于模型小型化的算法可以大致分为两类：从模型权重数值的角度来看压缩和从网络体系结构的角度来看压缩。另一方面，从计算速度的角度来看，它可以分为：仅压缩大小和增加速度的同时压缩大小。

表2 几种经典压缩方法及其比较

参考https://developpaper.com/overview-of-cnn-model-compression-and-acceleration-algorithms/