RAG for Knowledge-Intensive NLP Tasks
1. 摘要与引言 (Abstract & Introduction) 核心问题: 大型预训练语言模型（如BART, T5）虽然在参数中存储了大量事实知识，但在知识的精确访问和操作上能力有限 。它们无法轻易扩展或修正知识，其决策过程缺乏透明度，并且可能产生“幻觉”（即捏造事实）。 解决方案: 提出一种名为 RAG (Retrieval-Augmented Generation) 的通用模型框架，它将预训练的参数化记忆（一个seq2seq模型）与非参数化记忆（一个可通过神经检索器访问的密集向量索引，如维基百科）相结合 。 模型构成: RAG模型包含一个预训练的seq2seq生成器（BART）和一个预训练的密集段落检索器（DPR）。 主要贡献: 在三个开放域问答任务上取得了最先进的（SOTA）成果 。 在语言生成任务上，RAG比纯参数化模型生成的内容更具体、更多样、更符合事实 。 展示了通过替换非参数化记忆（文档索引）来有效更新模型世界知识的能力 。 2. 方法 (Methods) 整体架构 (Figure 1): 输入查询 (x...
Maximum Flow
免责声明：code太难写了，本章就不提供code了，各位自行GPT吧（ 基本概念阐述 问题阐述 输入：一个有向有权图 G=(V,E)G=(V,E)G=(V,E) ，源节点 sss ，汇点 ttt 目标：从 sss 发送尽可能多的水到 ttt 约束： 流要小于管道容量 流网络和流 流网络 G=(V,E)G=(V,E)G=(V,E) 是一个有向有权图 ∣E∣≥∣V∣−1|E|\ge |V|-1∣E∣≥∣V∣−1 图中每一条边 (u,v)∈E(u,v)\in E(u,v)∈E 有一个非负的容量值 c(u,v)≥0c(u,v)\ge 0c(u,v)≥0 若 (u,v)∉E(u,v)\notin E(u,v)∈/E ，则定义 c(u,v)=0c(u,v)=0c(u,v)=0 源节点 sss ，汇点 ttt 流 flowflowflow 在一个流网络 G=(V,E)G=(V,E)G=(V,E) 中，设容量函数为 ccc ，源节点 sss ，汇点 ttt GGG 中的流为一个实值函数 f:V×V→Rf:V \times V \to Rf:V×...
Tree
SCNU-Turing-Class CLRS Discussion Week4-5 Ciallo～(∠・ω<)⌒★！Ciallo～(∠・ω< )⌒★！Ciallo～(∠・ω<)⌒★！ 右子树就是柚子树 柚子厨蒸鹅心 Ciallo～(∠・ω<)⌒★！Ciallo～(∠・ω< )⌒★！Ciallo～(∠・ω<)⌒★！ 二叉树 Binary Tree 二叉树的定义 一种非线性数据结构，代表“祖先”与“后代”之间的派生关系，体现了“一分为二”的分治逻辑。 每个节点包含的属性有： 1. left指针，指向左子节点 2. right指针，指向右子节点 3. prev指针，指向父节点（书上这么写的，但实际构建可能不写这个。当然可以构建一个prev指针指向父节点，形成一个双向二叉树） 4. key关键字，节点的值 构建代码如下： 12345678//c++struct TreeNode { int val; // 节点值 TreeNode *left; // 左子节点指针 TreeNode *r...