「NLP」 CMU 2019:自然语言处理中的 CNN

CMU Neural Nets for NLP 2019:(Lecture 04)Convolutional Neural Nets for Text
官网：http://phontron.com/class/nn4nlp2019/schedule/cnn.html
课件：http://phontron.com/class/nn4nlp2019/assets/slides/nn4nlp-04-cnn.pdf
代码：https://github.com/neubig/nn4nlp-code/tree/master/05-cnn

一、 词袋模型、n 元词袋及卷积

二、 卷积的应用: 上下文窗口和语句建模

三、 卷积及空洞卷积

四、 Structured Convolution

语言有很强的结构化特征，比如名词-动词组合；但普通的卷积无法捕获这些；

1. 依赖结构 Dependency Structure，
   • 树状卷积
     节点可以与祖先节点和兄弟节点进行操作；
   • 图卷积
     在树状卷积的基础上加了自循环和反向链接；

五、 Sentence Pairs 卷积模型

句间关系卷积模型；
应用：语句相似性判断、文本推理、文本检索等在两个句子之间做处理的应用；

• 挛生网络：使用相同的网络来提取特征；
• 配对卷积网络：比挛生网络效果更好；
• 矩阵池化卷积网络

语句分类卷积网络：

• 多尺度卷积核；
• 倒数第二层做池化
• 微调

六、 CNN 可视化

七、 拓展

1. 测验任务参考书

• Goldberg Book Chapter 13.

2. 参考

• Time Delay Neural Networks (Waibel et al. 1989)
• Convolutional Neural Networks (LeCun et al. 1998)
• CNNs for Text (Collobert and Weston 2011)
• CNN for Modeling Sentences (Kalchbrenner et al. 2014)
• CNNs for Sentence Classification (Kim 2014)
• Dilated CNNs for Language Modeling (Kalchbrenner et al. 2016)
• Empirical Evaluation of Activation Functions (Eger et al. 2018)
• Tree Convolution (Ma et al. 2015)
• Graph Convolution for Text (Marcheggiani and Titov 2017)
• Siamese Networks (Bromley et al. 1993)
• Convolutional Matching Model (Hu et al. 2014)
• Convolution + Sentence Pair Pooling (Yin and Schutze 2015)
• Convolutional Networks for Sentence Classification (Kim 2014)

---

TOP

# 附录