自然语言处理基础知识框架

Posted on 2018-08-10 | In 面试 | Visitors:

秋招在即，虽然生活艰难，还是需要好好复习。总结一份自己的NLP知识框架。

传统机器学习

逻辑回归
- 基本概念
- 逻辑回归的梯度下降公式推导
- L1和L2正则的区别
- 逻辑回归与极大似然估计
- 逻辑回归与最大熵模型
  - 关系
  - 如何推导
  - 逻辑回归为什么要用sigmoid
- 逻辑回归与特征离散化、特征交叉
  - fm 和 ffm算法
决策树
1. ID3算法
  - 特征选择标准：信息增益
  - 特征选择标准的特点
  - 具体算法
2. C4.5算法
  - 信息增益比
  - 信息增益比特点
  - 具体算法
3. CART
  - 二叉树
  - 特征选择标准
    - 决策树：基尼系数
    - 回归树：最小二乘法
  - 具体算法
4. 剪枝
  - 预剪枝
  - 后剪枝
K-近邻
- K值选择
- 距离度量
- 决策方法
- 实现方法
  - kd树
支持向量机
- 目标函数
- 对偶问题求解公式推导
- 核函数
- lr和svm的异同
朴素贝叶斯
集成学习
聚类

统计自然语言处理算法

最大熵模型
- 模型形式
  - 特征约束
  - 最大熵
- 指数形式
  - 原问题是有约束的最大化问题
  - 通过拉格朗日方程转换为无约束优化问题
- 最大熵模型和逻辑回归关系
EM算法
- 基本概念
  - 可以从抛硬币问题开始回忆
  - E步和M步
- 两个点
  - 初值敏感
  - Q函数很重要
- EM的收敛性证明
- 应用场景
  - 聚类算法
  - HMM的参数训练
语言模型
- 基本概念
- 平滑方法
- 有时间关注基于Transformer的LM
HMM
- 关于马尔科夫过程
  - 一阶马尔科夫链
  - 转移概率矩阵
  - 齐次马氏链
  - 遍历性
- HMM的模型定义
- 三个问题
  - 已知模型->输出状态概率
    - 前向算法
    - 后向算法
    - 前向和后向算法结合
  - 已知模型和输出状态->概率最大的隐藏状态
    - 维特比算法
  - 只知道输出状态->估计模型参数
    - 参数估计问题
    - EM算法
      - E步
      - M步
- 应用
CRF
- 为什么要引入条件随机场(CRF和HMM的异同点)
  - HMM是生成式，CRF是判别式
  - 输出序列的相关性
  - 额外的特征
  - 标注偏置
- 条件随机场的定义
- 线性链条件随机场
- 参数化形式
  - 简化形式
  - 矩阵形式
- 预测算法
  - 改写目标函数，将特征函数合并
  - 维特比算法
- 学习算法(同最大熵的学习算法)
  - 改进的迭代尺度法
  - 拟牛顿法
word2vec, GloVec
- Skip-gram
- CBOW
- GloVec
LDA,SVD

深度学习基础

正向传播
反向传播
常见激活函数
1. sigmoid
2. tanh
3. ReLU
4. Leaky ReLU
5. maxout
优化算法
1. SGD
2. Momentum
3. Adagrad
4. RMSprop
5. Adam

常见NLP模型

算法与数据结构

常见框架

语言

c++
python

其他基础知识

数据库
设计模式
计算机网络
操作系统