动机:我们的模型在做什么? 我们还不清楚算法学习到了什么功能，而且它们的复杂性使我们无法准确理解模型本身。我们怎样才能使模型的效果更好呢？一般认为对于神经网络，堆叠更多的层会获得更好的效果，但这完全是黑盒的，我们更加无法理解神经网络。 神经网络作为语言测试的主体我们如何理解人类的 ...

成分句法分析 CS理解语言有两个极端，一个就是词袋模型，它把句子中的每个词都完全独立的提取出来，不考虑词和词之间关系；另外一个就是严格的成分句法分析，知道每个词在句子中充当的角色和句子里面的依赖关系，通过这种能力，我们可以通过了解较小的部分来获得更大的事物的表达。 我们可以建立单词- ...

什么是指代消解指代消解(Coreference Resolution)，指代(mention)是指句子中出现的名词、名词短语、代词等，指代消解就是把指向同一实体(entity)的指代聚类到一起的过程。比如下面的两句话，蓝色的词就是很多的指代，需要找出来哪些指代是指向同一个实体。比如Ba ...

章节1：回顾语言模型和解码算法回顾语言模型语言模型就是给定句子中的一部分词$(y_1,…,y_{t-1})$，要求预测下一个词$y_t$是什么： P(y_t|y_1,...,y_{t-1})条件语言模型不仅给了$(y_1,…,y_{t-1})$这些词，还给了$x$作为给语言模型的额外 ...

前言正则表达式可以在文本处理和文本清洗中发挥巨大的作用，有时候能够承担起一部分的信息提取工作。 基础符号 符号 作用 解释 记忆 ^ 匹配开头 ^a表示匹配以a开头的字符串 - $ 匹配结尾 a$表示匹配以a结尾的字符串 买完菜东西就要付钱 ? 匹配0次或1次 a ...

前言这篇文章是两篇视频学习的笔记整合，分别是是Contextual Word Representations: BERT和Modeling contexts of use: Contextual Representations and Pretraining. ELMo and BER ...

Purely character-level models对于英文来说，文字的粒度从细到粗依次是字符(character)，子字符(subword)，单词(word)，character和word都很好理解，subword相当于英文中的词根、前缀、后缀等，它们都是有含义的。对于中文来说 ...

From RNNs to Convolutional Neural Nets关于CNN的基础知识可以在很多地方学习，这篇文章主要学习卷积在NLP中的用法。 A 1D convolution for text首先，我们来看下最简单的单通道下，卷积核kernal=3的情况，怎么计算结果，假 ...

Motivation: Question answering问答系统(Question Answering, QA)是指对检索到的文档进行阅读理解，抽取出能回答问题的答案 Stanford Question Answering Dataset(SQuAD)2015~2016年，几个大 ...

拉格朗日函数的对偶问题原始问题针对有等式和不等式约束的最优化原始问题： \underset{x}{min}f(x) \\ s.t.\quad h_i(x)=0,i=1,2,...,m \\ s.t.\quad g_j(x)\leq0,j=1,2,...,n \tag{1-1}文章拉格 ...