Pan-Peptide Meta Learning for T-cell receptor–antigen binding recognition
Model-Agnostic Meta-Learning （MAML）模型介绍及算法详解
个人理解：其实把他看作正常的模型训练，它主要目的是能在小样本数据集上快速收敛，学习的时候就是学习模型在小样本上的收敛，简单来说是，先把一类数据集分为support（类比于小样本数据集中的已标注的样本）和query（小样本数据集中未标注的样本），先把模型参数复制下来，使用support数据去训练，只在这个复制的模型内梯度更新，然后在query数据上计算梯度（就是看用这个support学习到的模型效果怎么样），这次更新原模型，这样就完成了传统深度学习的一次梯度更新。最后学习完后会有一个fine tune 阶段，就是把模型适配到想要真正用的数据集，模型用训练好的模型参数初始化，然后用真正用的数据集对这个模型梯度更新，这次参数更新直接作用到原模型上，实际上可能会随机抽取多个数据集微调。
Neural Turing Machines
NTM 结合了神经网络和图灵机的概念，允许神经网络可以像计算机程序一样对输入和输出进行操作，并通过动态读写外部存储器来增强其计算能力，它可以在不需要重新训练的情况下学习新的任务，因为它可以通过控制器的输出来控制它对外部存储器的访问方式。
Abstract
TCR 和 人类抗原相互作用机制的鉴定对于开发新疫苗、诊断和免疫疗法有很大帮助。准确的预测TCR-抗原的绑定是一个基础的挑战，现存工具只能从已知的TCR绑定库中学习，并且难以识别从未呈递给免疫系统的或在少数TCR绑定库中抗原。Pan-Peptide Meta Learning (PanPep) 结合了元学习和神经图灵机的概念。神经图灵机添加了额外的记忆功能避免忘记之前学到的任务，可以更准确的预测TCR和抗原绑定的特异性，特别是没看到过的抗原。将PanPep应用到不同的具有挑战性的临床任务。
Main
新生抗原（Neoantigens）和病毒抗原是由主要组织相容性复合体（ MHC ）呈递，可以通过被T细胞表面携带CD8抗原T细胞受体（CD8+）识别，发生免疫反应。（和上一篇类似）
目前存在多种工具分析不同的TCR模式和预测多肽-TCR的结合特异性。主要可以分成3类
定义定量相似性测量去聚类TCR 来 破译抗原的结合模式，有TCRdist、DeepTCR、 GIANA、 iSMART、GLIPH 和 ELATE。
开发 抗原-特定TCR 绑定模型，包括TCRGP、 TCRex、和 NetTCR-2。
开发不限制特定抗原的 抗原-TCR 绑定预测模型，需要可用的已知绑定TCR进行模型训练，包括pMTnet、 DLpTCR、ERGO2 和 TITAN 。
这些方法难以识别很少绑定到TCR或者没有在训练集中出现过的的多肽。也就是说，这些模型不能推广到去学习在训练集中没有或免疫系统的外源肽的 多肽-抗原 绑定模式。而识别新生抗原或外源肽的结合特异性对免疫研究和免疫治疗至关重要。
PanPep结合了元学习和神经图灵机。具体来说 PanPep将 抗原-TCP 识别作为元学习框架中的一组 特异性肽 TCR 绑定识别任务，这可以以泛肽方式推广到任何新的特异性肽任务。在三种不同的设置中应用 PanPep ：
majority。有大量已知的绑定的 TCRs
few-shot。有少量已知绑定 TCRs
zero-shot。在训练数据中没有出现过的多肽，模仿免疫系统中没见到过的那些多肽。
综合测试结果表明 PanPep比其他方法表现都要好，最重要的 PanPep 在识别 TCRs 绑定免疫系统的外源性或新生肽比其他方法都准。
Results
PanPep overview
zero-shot 设置中，用了NTM-inspired disentanglement distillation去使PanPep能更好的应对未知的多肽-TCR识别（没有 support set）。原理时将未知的多肽映射到一个特定多肽模型生成空间（peptide-specific learner generation space ， PLGS）里，新的特定多肽模型通过获取基于PLGS的存储形成。这种方法帮助PanPep识别未知多肽的TCR绑定。在 majority 中，使用元学习模型的参数作为初始参数，然后在一个有大量已知绑定TCR的多肽进行预训练（large support set）。
Existing tools failed on recognition TCRs to unseen peptides
PanPep achieved good performance in different settings
PanPep outperforms existing methods in the zero-shot setting
PanPep exhibits potential in different clinical applications
Methods
Design of PanPep
在三种设置，few-shot setting，zero-shot setting，和 majority setting 中应用PanPep去解决长尾分布（long tail distribution）的TCR绑定库和使 TCR 和未见过多肽的绑定识别一般化。包括两个主要模型，元学习模型和解耦蒸馏模型。元学习模型中，元学习模型通过不同的特定多肽TCR识别中，获得关于多肽-TCR互动的元信息。特定多肽模型（特定多肽学习者，peptide-specific learner）通过每个特定多肽的任务获得特定多肽-TCR的识别信息。在解耦蒸馏模型中，通过模型蒸馏，构建一个多肽嵌入向量和特定多肽模型之间相关的图。
Meta-learning module
不去确定模型的参数，把模型看作一个具有参数的函数。元模型的目标是学习一个具有高度元信息的元参数，这个参数可以快速适应新特定肽的任务。给定一个新任务，元学习参数可以在很少几次（本文中3次，称为inner loop）梯度更新为特定肽的参数。交叉熵作为损失函数。样本按照抗原分类，把不同的抗原看作不同的任务，其他基本的MAML一致
Disentanglement distillation module
模型可以快速通过元学习适应新任务，但特定抗原模型必须在 support set 上优化，对于外来多肽或者新生多肽，他们没有出现在数据集中，也就没有support set。我们也就不能直接通过优化元学习模型获得这个特定的抗原模型。在文中作为zero-shot。disentanglement distillation module 可以让我们对于未知多肽可以快速生成特定多肽的模型。包括控制器、存储器、读写头。
控制器保存所有在元学习模型的训练任务中的特定多肽模型和query set
存储器有 基I 和 存储C ， I是L*L的矩阵，C是L*V的矩阵，L是抗原嵌入向量的长度，V是特定多肽模型参数向量的长度。
写头是解耦操作，有一个N*L的可学习矩阵W，N是训练集中特定多肽模型的个数
读头是E*L的矩阵A，E是TEi的个数，TEi是特定多肽任务的嵌入向量
在多肽嵌入向量和特定多肽模型之间构建映射关系存储。然后一个新的特定多肽模型可以通过读取存储获得。读头用每个特定多肽任务的嵌入向量作为输入，输出一个新的多肽嵌入向量，然后用来计算不同特定多肽模型参数向量的相似度。
在元学习模型中，本文将所有的特定多肽任务的模型和他们的query set都存储起来，在进行完所有的训练任务时，把所有的特定多肽模型用写头写入存储。
Detailed meta-learner architecture of PanPep
说了各种输入数据的嵌入向量，和上一篇中大致一样，用了自注意力机制，位置编码，单头自注意力，也用了卷积层，最后softmax输出。
Dynamic sampling
support set 和 query set 在每个训练epoch中都随机选择。。
Data curation
说了自己的用了哪些数据集和怎么用的/