qq_28404829的博客

CS224n Part11 Introduction to Natural Language Processing为什么自然语言处理如此特殊？人类语言是一种专门用于传达意义的系统，而不是由任何形式的物理表现产生的系统。不同于其他任何机器学习任务。2 Word Vectors我们想编码每个单词编码为能够表达单词空间的向量。one-hot vector表达每个单词使用R∣V∣∗1R^{|V...

CS224n Part21 Global Vectors for Word Representation1.1 Comparison with Previous Methods到目前为止，我们已经研究了两种主要的方法来查找单词的嵌入。第一组是基于计数的并且依赖于矩阵分解（例如LSA，HAL）。虽然这些方法有效地利用全球统计信息，它们主要用于捕获单词相似性并且在诸如单词类比之类的任务上表现不佳...

CS224n Part31 Neural Networks: Foundations神经网络是一组具有非线性决策边界的分类器.现在我们知道了神经的决策边界是由网络创建，让我们看看他们如何实现的。1.1 A Neuron神经元是一个通用计算单元，它接受n个输入和并产生单一输出。 不同的产出是受由神经元的参数（也称为它们的权重）影响。 其中一个最受欢迎神经元的是“sigmoid”或“bina...

CS224n Part4在NLP过去的10年，依存分析实质上已经取代了依存关系语法。依存句法的思想是一个句法模型，就是我们有一个词法项之间的关系或词之间的关系，只有词法之间是二元不对称关系。也就是说我们在词法项之间画箭头。我们称这些箭头为依存。1 Dependency Grammer and Dependency StructureNLP中的解析树类似于编译器中的树，用于分析句子的句法结构...

CS224n Part51 Language Models语言模型计算特定序列中的单词出现的概率。mmm个单词{w1,...,wm}\lbrace{w_1,...,w_m}\rbrace{w1​,...,wm​} 序列的概率表示为P(w1,..,wm)P(w_1,..,w_m)P(w1​,..,wm​)。 由于在一个单词依赖之前出现的另一个单词，wiw_iwi​，P(w1,...,wm)P(w...

CS224n Part61 Neural Machine Translation with Seq2Seq到目前为止，在本课程中，我们已经处理了预测单个输出的问题：单词的NER标签，给出过去几个单词的单个最可能的下一个单词，依此类推。 但是，有一整类NLP任务依赖于顺序输出，或者输出是可能变化长度的序列。 例如，•翻译：用一种语言作为输入和输出 -把同一个句子用另一种语言。•对话：将陈述...

CS224n Part71 Recursive Neural Networks递归神经网络（RNN）非常适合设置具有嵌套层次结构和内在递归结构。 好吧，如果我们考虑一个句子，这不是有这样的结构吗？ ”A small crowd quietly enters the historical church”。首先，我们将句子分成各自的名词短语，动词短语，“A small crowd”和“quietl...