欢迎大家来到我们的项目实战课，本期内容是《基于ncnn框架与KL散度的8bit对称模型量化与推理实战》。
所谓项目实战课，就是以简单的原理回顾+详细的项目实战的模式，针对具体的某一个主题，进行代码级的实战讲解，可以采用直播或者录制视频的形式。与我们其他的系统性理论+实战的视频课专栏相比，每一次项目实战都由独立的老师完成，课程更加专注、时长更短、更轻量级，适合快速锻炼项目能力。
本次课程内容
模型优化是模型能够在各类嵌入式平台使用的关键技术，包括紧凑模型设计，模型剪枝，模型量化，模型蒸馏，自动化模型设计等内容。
其中8bit模型量化是最为常见的训练后模型优化步骤，也是在Tensorflow等训练框架，TensorRT，NCNN等推理框架中非常成熟的模块。
在8bit模型量化中，NVIDIA提出的基于KL散度的对称8bit量化方案是主流的方案。
为了加深对该方法的理解，本次开设了基于ncnn框架和KL散度的8bit模型量化与推理实战，详解其原理与实现，本次课程经过剪辑后的总时长约为130分钟，各部分课程内容与时长如下：
部分 | 内容 | 时长(分钟) |
第1节 | 基于KL散度的8bit量化原理 | 22 |
第2节 | 量化校准表生成 | 36 |
第3节 | ncnn框架简介 | 14 |
第4节 | ncnn模型转换 | 10 |
第5节 | ncnn模型量化与推理 | 45 |
下面我们来简单看一下各部分的内容：
第1部分：基于KL散度的8bit量化原理，介绍该8bit量化方案的技术原理，本部分内容可以免费收听。
第2部分：量化校准表生成，详细解读基于Python的量化校准表生成代码细节。
第3部分：ncnn框架简介，包括ncnn框架的特性，编译与安装，本部分内容可以免费收听。
第4部分：ncnn框架模型转换，将Caffe，MxNet，DarkNet，ONNX等框架的模型，转化为ncnn框架格式的模型，包括*.param+*.bin两个文件。如caffe.param，caffe.bin表示从Caffe训练用的prototxt和caffemodel转换后的结果，其他框架类同。
第5部分：讲解如何使用ncnn生成量化校准表，进行模型量化，C++推理，并比较量化前后模型的大小和推理结果。
下图展示了量化前后模型的大小以及推理结果对比：
可以看出8位量化后权重caffe_int8.bin只有量化前32位float型caffe.bin文件大小的1/4。从推理结果来看，同一幅图的量化前与量化后模型虽然预测概率略有差别，但是仍然可以获得正确的推理结果，说明量化有精度损失，但是不影响功能正确。
本次课程为录播课程，讲师为言有三，技术社区《有三AI》创始人。
先后就读于华中科技大学(2008-2012)，中国科学院半导体研究所神经网络实验室(2012-2015)，先后就职于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度学习实验室(2017.5-2019.3)，深度学习算法专家，阿里云MVP，华为云MVP。
拥有超过7年的计算机视觉从业经验，拥有丰富的传统图像算法和深度学习计算机视觉项目经验，著有书籍《深度学习之图像识别：核心技术与案例实战》(机械工业出版社2019.4)，《深度学习之模型设计：核心算法与案例实践》(电子工业出版社2020.6)，《深度学习之人脸图像处理：核心算法与案例实战》(机械工业出版社2020.7)，《深度学习之摄影图像处理：核心算法与案例精粹》(人民邮电出版社2021.4)，拥有10余项发明技术专利与学术论文。
如何订阅
我们的视频课全部在小鹅通平台，可以使用手机APP鹅学习或者直接在网页进行登录，内容试听以及订阅请直接扫如下二维码：
课程详情如下：
课程相关问题答疑，请联系有三微信Longlongtogo进项目实战群：
更多模型优化与部署相关的内容，请点击关注我们的模型优化与模型部署专栏。
【视频课】一次性彻底掌握深度学习模型分析+设计+优化+部署4重境界！
【视频课】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensortRT+微信小程序)！
实战课讲师招募
为了进一步丰富有三AI生态的实战内容，欢迎有经验，有能力的讲师报名成为平台讲师：
讲师要求如下：
(1) 有多次人工智能领域教学经验，擅长演讲与教学。
(2) 有3年以上人工智能领域项目实战经验。
(3) 有三AI已有生态成员优先。
实战课的收入与平台采取固定分成的方式，具体细节可在内容组了解详情，报名请联系微信Alice-girll提交简历，或直接联系有三本人。
往期相关
【视频课】有三AI所有免费与付费的视频课程内容汇总（2022年1月）
