基于卷积递归深度学习的句子分类模型

基于卷积递归深度学习的句子分类模型(中文5000字,英文PDF)
摘要：随着人类整体和互联网上产生的非结构化文本数据量的增长，需要智能地处理它并从中提取不同类型的知识。卷积神经网络（CNN）和递归神经网络（RNN）已经适用于自然语言处理系统具有比较，显着的成果。CNN是提取对本地翻译不变的更高级别特征的高级方法。然而，由于卷积和池化层的局部性，它需要堆叠多个卷积层以捕获长期依赖性。在本文中，我们描述了一个联合CNN和RNN框架来克服这个问题。简而言之，我们使用无监督的神经语言模型来训练由我们的深度学习网络进一步调整的初始单词嵌入，然后，使用预先训练的网络参数来初始化模型。在最后阶段，所提出的框架将以前的信息与由卷积层学习的一组特征图组合在一起，具有通过长短期记忆学习的长期依赖性。根据经验，我们表明我们的方法，通过轻微的超参数调整和静态向量，在多个情绪分析基准上实现了出色的结果。我们的方法在准确性方面优于现有的几种方法；我们的结果也与斯坦福大型电影评论数据集上的最新结果相比具有竞争力，准确率为93.3％，斯坦福情感树库数据集分别为48.8％的细粒度和89.2％的二进制精度。我们的方法在减少参数数量和构造卷积层方面起着重要作用，其后是循环层作为池化层的替代。我们的结果表明，我们能够通过具有较少参数和高性能的高效框架来减少详细的本地信息的丢失并捕获长期依赖性。
关键词：卷积神经网络；递归神经网络；自然语言处理；深度学习；情感分析；长期依赖