从表征学习开始

深度学习的成果在于CNN的强大的特征提取能力。

表征十分重要：如何学习好的表征？

学习可分为有监督和无监督。有监督的过程是依据每个图像的标签，进行端到端的训练得到特征提取。无监督学习不需要显式的标签，构造无需标注的监督信息，时而也称为自监督学习。

自监督学习逐渐称为重要的方向，由于真实世界中绝大多数都是无标签的数据。

直接建模分布 p(x)

自编码

GAN

Pretext 自监督学习的前置任务

一些可用的pretext

基于图像patch的pretext的局限性

随着网络层的增加到一定程度，所提取的特征，用于分类的性能会降低。

CPC

Instance Discrimination

把每个样本当做一个类别。

Constractive Multi-view Coding - CMC

Metric Learning 视角

视频课程