祝贺！AIR四篇论文获Nature & Cell子刊录用

来源：发布时间：2023-06-01

近期，AIR共计4篇论文获Nature和Cell子刊录用/发表，其中执行院长刘洋、副教授马剑竹共计3篇论文被Nature Machine Intelligence录用/发表，助理教授赵昊的一篇论文被Patterns发表。Nature Machine Intelligence是Nature期刊于2019年创立的子刊，覆盖机器学习和人工智能领域最新研究成果，2021年数据显示其在"计算机科学，人工智能"类别的144个期刊中排名第一，同时在"计算机科学，跨学科应用"类别的113个期刊中也排名第一。Patterns是Cell期刊于2020年创立的子刊，专注于发表数据科学领域的开创性原创研究，其内容已被包括PubMed和Scopus在内的主要索引收录。

「 Nature Machine Intelligence 」

Characterizing the interaction conformation between T cell receptors and epitopes with deep learning

T细胞受体（TCR）与表位之间相互作用的计算建模对于免疫治疗和抗原发现至关重要。然而，目前的TCR-表位相互作用预测工具仍处于相对初级的阶段，并且在解析潜在结合机制方面能力有限，例如，表征TCR和表位之间的成对残基相互作用。因此，研究人员共同设计了一种新的基于深度学习的TCR-表位相互作用建模框架，称为TEIM-Res（TCR-表位相互作用建模与残基水平）。该模型以TCR和表位的序列作为输入，预测参与相互作用的成对残基距离和接触位点。为了解决当前数据匮乏的瓶颈问题，该模型采用了少样本学习策略，将序列级别的结合信息纳入到残基级别的相互作用预测中。验证实验和分析结果表明其良好的预测性能和设计的有效性。该项工作展示了三个潜在的应用：揭示突变TCR-表位对的微小构象变化，基于表位特异性TCR池揭示关键接触，以及挖掘内在的结合规则和模式。各种证据都表明，TEIM-Res可作为一个有用的工具，全面描述TCR-表位相互作用并理解结合机制的分子基础。该工作由AIR副教授马剑竹（通讯作者）课题组与清华大学交叉信息研究院合作完成，并于2023年5月刊发。

Extrapolating Heterogeneous Time-Series Gene Expression Data using Sagittarius

理解基因表达的动态变化对于发育生物学、肿瘤生物学和生物老化至关重要。然而，在实验室中，特别是在生物过程的非常早期或非常晚期，某些时间点仍然具有挑战性。在这里，研究团队提出了Sagittarius模型，一种基于Transformer的模型，能够准确模拟实验室无法测量的时间点上的基因表达谱。Sagittarius的关键思想是学习一个多数据模态共享的低纬度空间，并从中生成模拟的时间序列测量数据，从而明确地建模未对齐的时间点和时间序列之间的条件批次效应，并使该模型广泛适用于不同的生物学环境。该工作展示了Sagittarius在推断哺乳动物发育基因表达、模拟未测量剂量和治疗时间下的药物诱导表达，以及增加数据集以准确预测药物敏感性方面的有希望的性能。该工作还利用了Sagittarius模拟了早期癌症患者的突变谱，从而进一步发现了与刺刺信号通路相关的基因集，这可能与肉瘤患者的肿瘤发生相关，包括PTCH1、ARID2和MYCBP2等。通过用关键但难以测量的模拟数据点增强实验的时间序列数据集，Sagittarius可以更深入地了解异质转录组过程的时间动态，并可以广泛应用于生物学的时间序列推断。该工作由AIR副教授马剑竹课题组与华盛顿大学合作完成，将于2023年6月刊发。

undefined

Parameter-efficient fine-tuning of large-scale pre-trained language models

预训练语言模型和预训练-微调范式在自然语言处理领域已经大获成功，已经表明模型越大性能往往越好。然而，随着预训练模型参数规模的增长，传统全参数微调的成本亦变得过高，为每个任务存储微调后的完整大模型的做法最终变得不可行。这一现状推动了一个新的研究领域的发展：对预训练模型的参数进行高效微调，即只优化优化模型的一小部分参数，其余部分保持不变。这样的做法大大降低了计算开销和存储成本，已经表明少量参数即可有效激发预训练模型在下游任务上的性能。本工作中，研究团队将这种做法称为“增量微调”(delta-tuning)，其中“增量”指代在训练过程中“改变”的参数部分。研究团队提出了对现有的不同增量微调方法进行分类的标准，并探索了方法之间的异同，同时还讨论了这一范式背后的理论原则，从优化和最优控制两个角度对其进行了分析和解释。研究团队在100多个自然语言处理任务上进行了全面的实验，探讨了增量微调方法各个组成要素的影响。通过全面的理论分析和实验研究，展示了增量微调这一新范式在预训练模型时代的能力。代码模型： //github.com/thunlp/OpenDelta 。该工作由AIR执行院长刘洋教授课题
组与清华大学计算机系、北京智源人工智能研究院及清华大学深圳国际研究生院合作完成。 undefined

「 Patterns 」

A boundary-guided transformer for measuring distance from rectal tumor to anal verge on magnetic resonance images

近年来保留肛门功能的直肠低位前切除术（Dixon手术）在中低位直肠癌中的应用逐渐普遍，但手术能否保留肛门一直是术式选择的难点，主要取决于肿瘤的位置和可切除性。直肠癌肿瘤的位置也与新辅助放化疗的肿瘤消退效果、术后并发症和癌症的肿瘤学结局密切相关。目前对直肠癌肿瘤位置的确定主要依靠医生肛门指诊和肠镜粗略估计，由于盆底结构复杂加上直肠非刚性的特点，不同医生之间误差较大，肿瘤的精准定位和距离测量仍是困扰外科医生的难题。因此，研究团队提出了一种在矢状磁共振 (MR) 图像上自动测量 DTAV 的方法。这是一种先进的基于Transformer（transformer-based）的直肠肿瘤自动分割方法，并首次实现了肿瘤下边界到肛门边缘的距离（tumor's lower boundary to the anal verge, DTAV）的全自动测量，这一自动测量方法快速准确，可以为外科医生的术式选择提供可靠的参考。此外，对于直肠癌肿瘤图像的自动分割结果还可以辅助外科医生提高其DTAV手动测量的精度和效率。该工作由AIR助理教授赵昊课题组与清华大学电子工程系、北京大学第三医院、北京航空航天大学及英特尔实验室合作完成，并于2023年3月刊发。

D6D71