「DL」 无监督学习资源汇总

训练数据不包含标注信息的情况下完成目标任务；
表示学习资源

unsupervised learning

1 综述

1. A survey on Semi-, Self- and Unsupervised Techniques in Image Classification
   2020-02-20

2 理论

3 生成式

1. A fast learning algorithm for deep belief nets
   2006 paper

2. Unsupervised representation learning by predicting image rotations
   ICLR 2018 2018-03-21 paper | pytorch-official | openreview
   通过图像旋转进行学习；

3. AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data
   CVPR 2019 2019-01-14 paper
   无监督通过数据还是自编码网络进行学习的讨论；

4 判别式

4.1 对比学习

1. Dimensionality reduction by learning an invariant mapping
   CVPR 2006 2006 paper | blog
   $\bullet \bullet$
   首次提出对比学习；

2. Discriminative unsupervised feature learning with convolutional neural networks
   NIPS 2014 2014-06-26 paper | caffe | blog
   Exemplar-CNN
   首次使用正负样本对抗；

3. Data-Efficient Image Recognition with Contrastive Predictive Coding
   2019-05-22 paper | openreview | blog | blog
   使用了特殊的网络结构，用了 layer norm 和 数据增广；当时最好的方法；

4. Learning representations by maximizing mutual information across views
   2019-06-03 paper | pytorch-official | blog
   $\bullet \bullet$ - AMDIM
   判别式对比学习，使用了特殊的网络结构，并且改动了数据增广；

5. Momentum contrast for unsupervised visual representation learning
   2019-11-13 paper | blog | blog | blog | pytorch
   $\bullet \bullet$ - MoCo
   对数据做了混洗，用了 ResNet × n，耗费存储；
   
6. A Simple Framework for Contrastive Learning of Visual Representations
   AAAI 2020 2020-02-13 paper | blog
   $\bullet \bullet$ SimCLR
   定位：探索基于对比学习的判别式半监督网络，包括数据增广，特征提取和相似度计算；
   总结：文章收录了较为全面的半监督学习相关信息，并对各环节做了实验，最终给除了效果最好的组合——SimCLR，达到 SOTA；
   核心：各环节做了丰富的对比实验，对工程有很大指导作用；

   • 各环节只给出实验结果，缺乏理论分析；
   • 只给了实验结果，未给出实验细节；
   • 文章的核心“对比学习”就是孪生网络，相关任务有图片检索（人脸验证，REID 等）；不知道为什么非要换个名字；
   • 对比学习用于无监督分类准确度测试的时候，也没给出测试细节——怎么实现的半监督学习；
   • 结论说 SimCLR（基于 4×ResNet）在微调后达到监督学习（基于 ResNet）的水平是噱头，因为 backbone 不一样；

   看起来像是很努力但不聪明又的人写的文章；

4.2 其他

1. Unsupervised Visual Representation Learning by Context Prediction
   ICCV 2015 2015-05-19 paper | caffe

2. Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination
   CVPR 2018 2018-05-05 paper | pytorch-official | pytorch | blog | blog
   $\bullet \bullet$ InsDis

5 应用

5.1 视觉异常检测

异常检测

1. Manifolds for Unsupervised Visual Anomaly Detection
   2020-06-19 paper | [crack 分割数据集]（https://github.com/khanhha/crack_segmentation）
   无监督 VAE 从医疗图像中识别出癌症图片；

6 其他

1. Deep Clustering for Unsupervised Learning of Visual Features
   ECCV 28 28-07-15 paper | 解读

2. Self-Supervised Representation Learning by Rotation Feature Decoupling
   CVPR 2019 2019 paper

---

TOP

附录

A 数据集

B 资源

1. paper with code