人工智能与神经网络简介

深度学习在自然语言上的应用是最近今年开始受关注的(15年开始)，技术也变得较实用。 神经网络的发展非常波折。

神经网络产生的背景

• Top-down approach to AI: 以西蒙为代表的符号学派

  • 当时的学者非常的乐观，认为机器能够做所有人类能做的事情
  • 主张以形式化方法来，将知识表示为符号
  • 运用逻辑进行推理
  • 对自然语言、图像问题基本毫无办法

• Bottom-up approach to AI: 神经网络为代表

  • 不从上层的符号/概念开始构建，从底层的神经元开始构建

NLP中的深度学习是什么？

在处理NLP中的优势

• End-to-end learning vs. step-by-step learning
  • eg. 微博自动回复、翻译
• 相比一般机器学习算法，通用性、迁移性强
  • 传统方法需要做特征，不同地方用不同特征；
  • 通用性是跨领域的，语音、图形不会有特别大的差别
• 效果接近或赶上传统方法

工业界的应用：

• Goolge Smart Reply

Multilayer neural network

• could have L hidder layers

Change logs

2017.10.14 创建