第一节

About the course

介绍课程结构与教学安排。

1

第一周

第二节

What is NLP, Why NLP, How NLP

介绍自然语言处理与深度学习技术的基本概念，发展历史,以及自然语言处理的传统方法。内容包括:

(1) What is NLP;

(2) Why we need NLP;

(3) How we implement NLP.

1

第一周

第三节

Fundamental Tasks of NLP

总览自然语言处理所包含的具体任务，具体介绍两类复杂任务：Part-of-speech (POS) tagging（词性标记）与 Parsing（句法分析）。内容包括：

(1) Taxonomy of NLP tasks;

(2) Part-of-speech (POS) tagging;

(3) Parsing.

2

第一周

第四节

~

第九节

Language Model & Distributed Representation

介绍基于传统机器学习与基于前沿深度学习的语言模型的原理、实现以及应用。介绍词表示向量的具体概念，获取方式。在此基础上，详细分析讲解如BERT，GPT等前沿大语言模型。内容包括：

(1) Traditional Language Model;

(2) Smoothing;

(3) Distributed Representation;

(4) Word2Vector Algorithm;

(5) Language Model: Training;

(6) Language Model: Evaluation;

(7) Neural Network Language Models;

(8) Continuous bag-of-words (CBOW);

(9) Skip-gram Algorithm;

(10) Hierarchical softmax & Negative sampling

(11) Glove Algorithm;

(12) Recurrent Neural Network-based Language Models;

(13) Seq2seq Model;

(14) Attention Mechanisms;

(15) Self-attention;

(16) Transformer;

(17) Pre-training a Language Model;

(18) GPT: Generative Pretrained Transformer;

(19) BERT: Bidirectional Encoder Representations from Tranformers.

8

第二周

~

第三周

第十节

Information Extraction

介绍自然语言处理中的重要高阶任务之一--信息抽取(Information Extraction)。内容包括：

(1) Introduction to Information Extraction;

(2) Solution Framework;

(3) Deep Learning for Information Extraction;

(4) Classical Models;

(5) Tools and Data;

(6) Frontier Research.

2

第四周

第十一节

Coreference Resolution

介绍自然语言处理中的重要高阶任务之一--指代消解(Coreference Resolution)。内容包括：

(1) Introduction to Coreference Resolution;

(2) Classic Models;

(3) Progress;

(4) Datasets & Tools;

(5) Future Work.

2

第四周

第十二节

Sentiment Analysis

介绍自然语言处理中的重要高阶任务之一--情感分析(Sentiment Analysis)。内容包括：

(1) Introduction to Sentiment Analysis;

(2) Baseline Models;

(3) Sentiment Lexicons;

(4) Learning Sentiment Lexicons;

(5) Other Sentiment Tasks.

2

第五周

第十三节

Summarization

总结前一阶段课程所授知识点。

2

第五周

第十四节

Q & A

针对前一阶段的学习，集中解决学生问题。

2

第六周

第十五节

Machine Translation

介绍自然语言处理技术的重要应用--机器翻译(Machine Translation)。内容包括：

(1) Classic Machine Translation Methods;

(2) Neural Network based Machine Translation.

2

第六周

第十六节

Natural Language Generation

介绍自然语言处理技术的重要应用--自然语言生成(Natural Language Generation-NLG)。内容包括：

(1) Introduction to NLG;

(2) Formalizing NLG;

(3) Decoding from NLG models;

(4) Training of NLG models;

(5) Evaluation of NLG models;

(6) Ethical Considerations of NLG.

2

第七周

第十六节

Deep Learning Program Frameworks

介绍主流的深度学习编程框架，并演示一种自然语言处理任务的全部流程。

2

第七周

第十八节

Project Demonstration

由学生按小组为单位介绍本课程的项目设计。

4

第八周

总计学时

32