拉格朗日乘子法本节内容直接摘自约束优化方法之拉格朗日乘子法与KKT条件，这篇文章是我觉得阐述的最清晰的一篇关于KTT条件的，对着敲一遍不失为一个比较好的加深记忆的办法。拉格朗日乘子法可以用解决带有约束条件的最优化问题，约束条件又分为等式约束和不等式约束。对于等式约束，可以直接应用拉格朗 ...

Section 1: Pre-Neural Machine Translation机器翻译(MT)是将一个句子$x$从一种语言(源语言)转换为另一种语言(目标语言)的句子$y$的任务。 1990s-2010s: Statistical Machine Translation统计 ...

Vanishing gradient intuition RNN在不同时都使用共享参数$W$，导致$t+n$时刻的损失对$t$时刻的参数的偏导数存在$W$的指数形式，一旦$W$很小就会导致梯度消失问题。当这些梯度很小的时候，反向传播的越深入，梯度信号就会变得越来越小 Why is v ...

Language Modeling 语言模型就是预测一个句子中下一个词的概率分布。如上图所示，假设给定一个句子前缀是the students opened their，语言模型预测这个句子片段下一个词是books、laptops、exams、minds或者其他任意一个词的概率。形式化表 ...

前言对于句法结构(syntactic structure)分析，主要有两种方式：Constituency Parsing与Dependency Parsing Constituency ParsingConstituency Parsing主要用phrase structure gr ...

Gradients该部分介绍了雅可比矩阵、链式求导法则，最后推算出下图的输出得分$s$对$W$和$b$的求导结果。 根据链式求导法则 : \frac{\partial s}{\partial b}=\frac{\partial s}{\partial h}\frac{\parti ...

Classification setup and notation通常我们有由样本组成的训练数据集 \{x_i,y_i\}_{i=1}^N$x_i$是输入，例如单词(索引或是向量)，句子，文档等，维度为$d$$y_i$是我们尝试预测的标签($C$各类别中的一个)，例如 : 类 ...

SourceCode和这篇文章对应的源码存放在我的github下的Image classification仓库。 可以选择直接clone到本地： git clone https://github.com/StanleyLsx/image_classification.git D ...

Review: Main idea of word2vec P(o|c)=\frac{exp(u_o^Tv_c)}{\sum_{w\in V}exp(u_w^Tv_c)} 随机的单词开始 历整个语料库中的每个单词 使用单词向量预测周围的单词 更新向量以便更好地预测 学习到词之间的相似 ...

Human language and word meaningHow do we represent the meaning of a word? 用一个词、词组等表示的概念 一个人想用语言、符号等来表达的想法 表达在作品、艺术等方面的思想 理解意义的最普遍的语言方式(linguis ...