Abstract现在的机器阅读理解的模型都是基于循环神经网络加上Attention机制。尽管这种模型获得了很大的成功，但是因为使用了循环的结构导致训练和预测速度较慢。本文提出了不使用循环神经网络的新结构：encoder部分使用卷积和self-attention，卷积用来提取局部信息，self-att ...

1. 二维数组中的查找题目大意 一个二维数组，每一行都是递增的，每一列也是递增的。给定一个数，判断该二维数组中是否含有该数。 思路 从右上角开始，如果当前数大于target则往左边走一步，如果小于，则往下走一步，直到找到或者找不到该数为止。 123456789101112131415161718cl ...

秋招在即，虽然生活艰难，还是需要好好复习。总结一份自己的NLP知识框架。 传统机器学习 逻辑回归 基本概念 逻辑回归的梯度下降公式推导 L1和L2正则的区别 逻辑回归与极大似然估计 逻辑回归与最大熵模型 关系 如何推导 逻辑回归为什么要用sigmoid 逻辑回归与特征离散化、特征交叉 fm 和 ...

R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS Introduction两个数据集 SQuAD SQuAD全称是Stanford Question Answering Dataset，是斯坦福大学提出的基于维基百科的 ...

A Hybrid Framework for Text Modeling with Convolutional RNN 总体本文主要提出了一种结合RNN和CNN的混合结构的模型，能够集合RNN和CNN各自的长处。在该混合结构基础上，文章又提出了sentence classification mode ...

IntroductionRNN, LSTM, GRU在语言模型和机器翻译等领域都达到了state-of-the-art的水平。RNN模型存在不能并行计算和长距离依赖的问题。现在，attention机制几乎成为了RNN模型的标配。 本文提出了Transformer的新结构，完全避开了循环的结构，仅仅依 ...

1. 集成学习集成学习(ensenble learning)是指通过构建并结合多个学习器来完成学习任务。一般来说，多个“弱学习器”结合起来的效果往往好于单个强学习器的效果，所以集成学习的应用非常广泛，比如著名的集成树模型系列。 集成学习按照个体学习器是否相同，可以分为同质集成和异质集成。同质集成的个 ...

从线性回归说起 线性回归 $y = w^Tx + b$ x表示n维的特征向量，通过线性相加得到y值，可以使用使用最小二乘求解。 逻辑回归与线性回归的联系与区别 对数几率角度理解 逻辑回归是，通过线性回归的方法去预测对数几率，即：$ln\frac{y}{1-y} = w^Tx+b$ 求解得到 ...

LinkedList链表翻转、两个链表代表的数求和（两种形式）、找到链表的倒数第k个节点（删除链表的倒数第k个节点） 445. Add Two Numbers IIYou are given two non-empty linked lists representing two non-negati ...

Effective Approaches to Attention-based Neural Machine Translation 总体介绍这篇文章不得不说写的非常好，写的结构清晰，逻辑清楚，内容讲得也非常通俗易懂。总体来说，这篇文章在神经机器翻译的基础上提出了两种attention的结构，att ...