神经网络语言模型

主要内容

了解神经网络语言模型基本原理及其优势，尝试用矩阵的形式表达词汇，构建模型。

• 理解神经网络的矩阵表示形式
• 了解神经网络语言模型的优势
• 理解 Word embedding 的概念（中文可解释为 “词嵌入”，Word embedding 作用是将源数据映射到另一个空间

任务

• 任务一：基于矩阵乘法实现单隐层神经网络
  • 将列向量表示形式，改成行向量表示形式
• 任务二：使用 tf.layers.dense 替换矩阵乘法
  • 将列向量表示形式改成行向量表示形式
  • 使用 tf.layers.dense 替换原有的矩阵乘法
• 任务三：构建 word embedding
  • 使用你的语料库进行训练，构建 NN language model
  • 完成 3 个名词各自最相近的 Top 10 个词的检索
  • 小问题：为什么取这个矩阵的某一行，和这个词出现的时候做矩阵乘法，结果是一样的呢

参考资料

1.反向传播算法（Back propagation） 2.Deep Learning in NLP （一）词向量和语言模型 – licstar的博客 3.Deep Learning for Natural Language Processing.pdf - stanford.edu 4.Softmax function 5.自然语言处理之语料库资源 NLPCN语料资源

Change log

• 2017.11.13 创建
• 2017.11.16