本文介绍了一个名为ACTION（Augmentation and Computation Toolbox for braIn netwOrk aNalysis）的开源工具箱，用于基于功能性磁共振成像（fMRI）数据的大脑网络分析。该工具箱提供了全面的功能，包括fMRI数据增强、大脑网络构建、特征提取以及人工智能模型构建，旨在简化fMRI数据分析流程并支持深度学习模型的预训练和联邦学习策略。实验表明，ACTION在真实fMRI数据上表现出良好的有效性和用户友好性，能够帮助研究人员更高效地进行fMRI分析，尤其在数据增强和多中心研究方面具有显著优势。
fMRI已越来越多地被用于研究脑功能活动，开发了许多与fMRI相关的软件/工具箱，为fMRI分析提供了专门的算法。然而，现有的工具箱很少考虑功能磁共振数据增强，这是非常有用的，特别是在数据有限或不平衡的研究中。此外，目前的研究通常集中在使用依赖于人类工程fMRI特征的传统机器学习模型来分析fMRI，而没有研究能够自动学习数据驱动的fMRI表征的深度学习模型。在这项工作中开发了一个开源工具箱，称为增强和计算工具箱，用于脑网络分析(ACTION)，提供全面的功能来简化fMRI分析。这是一个基于Python的跨平台工具箱，具有图形用户友好界面。它支持自动功能磁共振增强，包括血氧水平依赖(BOLD)信号增强和大脑网络增强。包括了许多流行的脑网络构建方法和网络特征提取方法。特别是，它支持构建深度学习模型，该模型利用大规模辅助未标记数据(3800+静息状态fMRI扫描)进行模型预训练，以增强下游任务的模型性能。为了促进多站点功能磁共振研究，它还配备了几种流行的联合学习策略。此外，它还允许用户通过脚本设计和测试定制算法，大大提高了其实用性和可扩展性。研究在真实的fMRI数据上演示了ACTION的有效性和用户友好性，并给出了实验结果。该软件及其源代码和手册都可以在线访问。
本文涉及到的部分算法，在脑海科技多模态脑影像分析云平台可一键分析。平台内置一键式分析700+算法（包括fMRI、T1、DTI、MRS、QSM、机器学习等），用户无需学习代码，几天就可以掌握脑影像数据分析，欢迎添加微信号19906719439（樊老师）咨询产品相关
fMRI提供了一种无创成像技术，通过检测血氧水平依赖性（BOLD）信号的变化来测量自发脑活动。它越来越多地被用于研究大脑的功能活动，在许多应用中显示出巨大的临床和实用价值，包括神经系统疾病诊断、大脑发育评估和生物标志物鉴定。
目前，已经开发了许多与fMRI相关的软件和工具箱，为用户提供专门的算法，以高效和标准化的方式促进fMRI分析。例如，一些工具箱专注于基于fMRI构建功能连接网络并生成网络拓扑特征，从而可以识别疾病相关的脑功能改变。其他一些研究协助构建脑障碍分析的机器学习模型，可以大大提高医疗决策的效率。
然而，现有研究通常利用原始fMRI数据进行计算分析，忽略了增强给定fMRI数据的大小和多样性的基本功能（即数据增强）。功能性MRI增强非常有用，特别是在数据样本有限的研究中，它可以帮助提高构建的学习模型的鲁棒性和泛化性。此外，目前的研究通常使用传统的机器学习模型来研究fMRI，这些模型依赖于人类设计的fMRI特征，而没有探索能够自动学习数据驱动的fMRI特征表示的深度学习模型。与机器学习方法相比，深度学习模型通常将特征学习和模型构建集成到一个统一的模型中，从而产生数据驱动的特征，这可能会提高预测结果。
图1 拟议的ACTION软件包括的主要功能，包括fMRI数据增强、大脑网络构建、大脑网络特征提取和人工智能（AI）模型构建。
为此，研究开发了一个开源工具箱，称为ACTION，它提供了全面的功能来简化fMRI分析。该ACTION是一个基于Python的工具箱，具有图形用户友好界面，其主要功能如图1所示。与大多数现有工具箱相比，该工作箱具有以下优点。首先，它实现了fMRI数据的自动增强，包括BLOD信号增强和脑网络/图形增强。第二，ACTION集成了多种脑功能连接网络构建方法，支持提取多种脑网络特征，包括基于节点的特征和基于图的特征。第三，除了机器学习模型外，它还支持深度学习模型的构建，其中嵌入了十种流行的fMRI分析方法。值得注意的是，对于每种方法，研究的工具箱都提供了基于大规模未标记fMRI数据(3800+扫描)的预训练深度学习模型。此外，它还集成了几种流行的联合学习策略，以促进多站点功能磁共振研究。此外，它还允许用户通过脚本来设计和测试他们的定制算法，这大大提高了它的实用性和可扩展性。为了证明ACTION的有效性和用户友好性，研究使用真实的fMRI数据对模型进行评估。本文第2节将该工具箱与当前的fMRI分析工具箱进行了比较。第3节详细介绍了所提出的操作，包括所有的功能模块和相应的算法。具体来说，3.1节介绍了两种类型的fMRI数据增强。第3.2节和第3.3节分别介绍了基于fMRI数据的脑网络构建和脑网络特征提取功能。第3.4节介绍了人工智能(AI)模型的构建，包括传统的机器学习模型和深度学习模型。在第4节中，研究使用真实的静息态fMRI数据验证了包含模型的有效性，并给出了相应的实验结果。
与现有研究不同，该ACTION包括以下特征，这些特征在当前的工具箱中被忽视。首先，实现了fMRI数据的自动增强，包括BLOD信号增强和脑网络/图形增强。除了传统的机器学习模型外，ACTION还支持深度学习模型的构建，其中嵌入了十种流行的fMRI分析方法。此外，研究还包括了几种用于多点fMRI分析的联合学习方法。表1显示了研究的ACTION和现有的计算机辅助功能磁共振分析工具箱之间的详细比较。
表1 拟议的ACTION和现有的计算机辅助功能MRI分析工具箱之间主要功能的比较。
成功安装和启动ACTION软件后，用户将看到欢迎界面，如图2所示。界面清楚地概述了ACTION软件的四个主要功能，即fMRI数据增强、大脑网络构建、大脑网络特征提取、AI模型构建。该软件及其开源代码可通过（https://github.com/mxliu/ ACTIO-Software-for-Functional-MRI-Analys/tree/main/Software）获得，其四个功能模块详细说明如下。这些功能模块的具体操作可在手册中找到。功能性MRI增强是指增强功能性MRI的数量和多样性的技术。它通常有助于提高fMRI分析中构建模型的稳健性。通常，fMRI数据增强有两种主流方法，即BOLD信号增强和图形增强。在这里，图表对应于从fMRI推导出的特定大脑连接网络。
许多fMRI研究直接基于原始BOLD信号进行数据增强。这些方法侧重于在fMRI时间序列中引入变量，以模拟大脑活动的各种时间动态。如图3所示，包括四种常用的fMRIBOLD信号增强方法，即上采样、下采样、切片和噪声抖动。除了这些方法，研究的工具箱还支持用户自己设计增强算法。自定义算法的详细信息可在手册中找到。
(1)上采样是一种拉伸时间序列的增强策略，提高了fMRI的时间分辨率，捕获了更快速的神经活动变化。具体地说，给定一个具有T个时间点的功能磁共振时间序列，研究使用比率为u∈(0，1)的快速傅立叶变换来执行上采样。结果产生了具有⌊T∕u⌋时间点的新的功能磁共振时间序列，其中⌊.⌋表示地板函数。新获得的数据可以用于进一步的分析，例如，构建大脑功能网络或建立基于学习的模型。
(2)下采样旨在通过降低时间序列的分辨率来收缩时间序列，帮助捕获更粗粒度的模式和更一般的时间趋势。为了执行下采样，研究利用使用比率b∈(0，1)的快速傅立叶变换，产生具有⌊T×b⌋时间点的功能磁共振时间序列。
(3)切片侧重于将fMRI时间序列数据划分为更小的片段。每个片段代表原始时间序列的子集，原始时间序列捕获功能磁共振数据的局部时间模式。给定一个时间点为T，切片比率为S∈(0，1)的功能磁共振成像，研究可以得到一个长度为⌊T×S⌋的分段功能磁共振成像，并且新时间序列的起点可以动态变化。
(4) 噪音抖动 将随机噪音添加到fMRI数据中，模拟现实世界的噪音，例如运动伪影。在这里，研究使用高斯噪音来向fMRI时间序列引入随机性。高斯噪音是一种概率密度函数服从正态分布的噪音。
与直接对原始fMRI时间序列进行数据增强不同，一些其他fMRI研究专注于首先将大脑表示为一个功能连接网络，然后通过增强脑网络来增加数据多样性。每个脑网络包含一组相互连接的脑区，这些脑区表现出相关或同步的功能活动模式。这些网络通常被表示为图，其中图的节点表示感兴趣的脑区（ROIs），图的边表示成对ROIs之间的功能连接。图增强的目的是通过删除节点、扰动边或修改图结构等方式，为fMRI构建的脑网络/图引入变异性。通过图增强，研究可以捕捉到更广泛的大脑潜在功能连接模式，这有助于促进fMRI数据分析并加深研究对大脑功能的理解。
将脑网络/图表示为 G = {V, E, A}，其中每个节点 vi ∈ V 表示一个具有特征向量 hi ∈ RD 的脑感兴趣区（ROI），E 表示边的集合。A ∈ RN×N 是一个矩阵，其中每个元素 aij 表示第 i 个和第 j 个ROI之间的功能连接，N 表示节点/ROI的数量。ACTION中引入了六种图增强方法（见图4），包括四种流行方法（即随机节点删除、随机边扰动、子图裁剪和属性掩蔽）和两种最近设计的方法（即中心节点保留的节点删除和基于权重的边移除）。
（1）随机节点删除旨在从G中随机删除一定比例的图节点及其相关边。每个节点的丢弃概率遵循均匀分布，节点丢弃率o范围为0到1。例如，如果o设置为0.05，则意味着5%的图节点以及连接边被随机丢弃。（2）中心保留节点删除是最近设计的一种用于图形增强的算法，它在此过程中优先保留大脑中心区域。大脑枢纽是指与其他区域表现出高度功能连接的大脑区域，它们通常在促进大脑内的有效互动方面发挥着重要作用。在这里，研究采用度中心性来衡量每个节点的重要性，并根据其度中心性di确定丢弃概率。具体地，节点vi被丢弃的概率表示为这样，具有较高程度中心性的节点表现出较低的丢弃概率。然后，研究基于正规化获得节点vi的概率分布。遵循此概率分布，研究根据指定的丢弃率丢弃某些节点以进行图增强。（3）随机边缘扰动：旨在通过随机添加或删除一定比例的边来扰动G中的图边，同时保持边总数与原始图一致。添加或删除每条边的概率遵循均匀分布，边添加/删除比e欧几里得（0，1）。如果e设置为0.1，则随机删除10%的边，并随机添加10%的边。（4）权重相关边去除：是一种基于边扰动的图增强方法。它不是随机删除边，而是通过考虑边重要性/权重来执行边删除（5）子图裁剪：随机选择大脑区域及其相关功能连接的子集，以基于随机游走创建较小的子网络/子图。默认情况是保留原始图中80%的节点以形成新子图，并且还包括这些选定节点之间的边。基本假设是G的语义信息可以很好地保留在其部分图结构中。（6）属性掩码：涉及根据预定义的掩码比例随机掩盖与某些脑区域/节点相关的属性或特征。也就是说，我们将掩码比例应用于所有节点（例如，默认值为0.2），并将所选节点的特征设置为零。这种方法假设缺失的部分节点特征对整个图的影响不大。除了上述方法外，用户还可以设计并使用自定义的图增强算法。有关实现自定义图增强算法的更多细节，请参阅手册。
研究的工具箱包括七种流行的大脑网络构建方法，即皮尔逊相关性、互信息性、部分相关性、斯皮尔曼相关性、高级功能连接性、稀疏表示和低等级表示，如图5所示。它还嵌入了两种网络稀疏策略，帮助专注于代表神经过程的强连接。此外，它支持大脑网络可视化，允许用户识别原始数据中可能不明显的功能连接模式。网络构建的算法以及网络稀疏化和可视化的详细信息如下。
（1）皮尔逊相关性（PC） 测量不同大脑区域的fMRI时间序列之间的线性关系。将X和Y表示为两个大脑区域的fMRI时间序列，X和Y之间的PC系数可以使用以下公式推导：
其中cov（X，Y）表示X和Y之间的协方差，而西格玛X和西格玛Y分别表示X和Y的标准差。通常，P CXY的范围从-1到1。接近1的值表明X和Y之间的正同步性更强，这表明相应的大脑区域在功能上相连，并且可能参与类似的神经过程。接近-1的值表示强烈的负面关系。接近0的值表明配对区域的时间序列之间没有线性关系。（2）互信息（MI）量化了研究通过观察另一个fMRI时间序列可以从一个fMRI时间序列中获得的信息量。从数学上讲，两个fMRI时间序列X和Y之间的MI可以表示为：
其中p（x，y）表示X和Y的联合概率分布函数。p（x）和p（y）分别是X和Y的边际概率分布函数。MIXY的值越高，表明两个fMRI时间序列之间的依赖性越强，表明两个大脑区域之间的神经活动同步性越强。如果MIXY接近0，则表明两个fMRI时间序列是独立的。与仅衡量两个时间序列之间线性关系的皮尔逊相关性相比，互信息可以捕捉它们之间的线性和非线性关系。（3）偏相关（PrC）检查了两个区域的fMRI时间序列之间的关系，同时控制其他大脑区域的影响。两个fMRI时间序列X和Y之间的偏相关系数可以表示为：
（4）斯皮尔曼相关性（SC）量化了两个fMRI时间序列之间单调关系的强度。为了获得两个时间序列X和Y之间的SC系数，首先将X和Y转换为排序值，然后进行：
（5）高级功能连接（HOFC） 是检查大脑功能高级组织的一项措施。与传统的低级网络不同（例如，由Pearson相关性构建）通常使用任何对大脑区域之间的功能相关性测量，HOFC网络是基于“相关性的相关性”构建的，有助于描述高级区域间相互作用。具体来说，给定基于Pearson相关性构建的低级脑网络P √ RN×N，第i个和第j个区域之间的HOFC可以公式化：
其中HOF Cj的值越高，代表两个区域之间的高级关系越强。（6）稀疏表示（SR） 通过引入L1调节器来估计稀疏的大脑功能网络，该调节器可以有效地过滤掉网络中的弱或冗余连接。在数学上，基于SR的大脑网络估计的目标函数可以表示为：
其中W √ RN x N预计能够很好地代表原始fMRI数据X，并且具有低等级结构。' W '''表示踪迹规范（即，W的核规范），这是W的奇异值的和。参数是一个正规化参数，其值越高，则会鼓励较低级别的大脑网络。低级别网络可以代表具有更少组件的原始网络，帮助识别最重要的连接并过滤掉相关性较低的连接。值得注意的是，除了这些方法之外，用户还可以使用自定义的算法基于fMRI数据构建大脑网络。具体细节在手册中有详细说明。
研究的工具箱提供了两种稀疏策略，允许用户对构建的大脑网络进行稀疏：
（1）稀疏性。这种方法保留了所构建的脑网络的前K%值，而将其余的值设置为0。在研究的工具箱中，K默认设置为30。与完全连接的大脑网络相比，图6构建的大脑网络的可视化。用“稀疏性”构造的网络可以在保留强连接的同时去除弱连接。图6
（2）二值化。此方法遵循与“稀疏性”中使用的相同策略，但将所有加权连接转换为二进制连接。作为一个有用的补充，该工具箱允许用户从两个角度可视化构建的脑网络，即邻接矩阵和网络拓扑。（1）邻接矩阵。所构建的大脑网络可以表示为邻接矩阵，其中每行和每列对应于不同的大脑区域，并且每个条目表示区域之间的功能连接。这里，研究使用一个模拟的时间序列X∈RN×T来构建一个基于皮尔逊相关性的脑网络，其中N=10和T=30分别表示区域和时间点的数量。研究通过将稀疏度比率K设置为50来保留前50%的功能连接。邻接矩阵的图示如图6(A)所示。（2）网络拓扑。如图6(B)所示，研究还显示了基于相同模拟时间序列构建的大脑网络的网络拓扑。这里，每个图形节点代表每个大脑区域，每个图形边表示区域之间的功能连接。基于构建的脑网络/图，研究可以提取各种网络特征用于进一步的fMRI分析，这些特征对于理解大脑功能连接模式是必不可少的。通常，有两种主要类型的大脑网络特征，即基于节点的特征和基于图形的特征，如图7所示。基于节点的特征是为每个图形节点(即，大脑区域)计算的，有助于调查大脑网络中各个大脑区域的重要性。基于图表的特征捕捉全球网络属性，并表征大脑区域之间的交互，从而提供整个大脑网络的整体视图。请注意，研究的工具箱支持同时选择多个网络功能。
在研究的工作中，研究引入了六个基于节点的网络特征，包括节点度、节点强度、局部效率、介数中心性、特征载体中心性和聚集系数。
（1）节点度（ND） 计算连接到节点或大脑感兴趣区的边数量。从数学上讲，vi的节点度可以用公式表示为：
程度越高的大脑区域代表它与更多的其他区域功能连接，表明它可能在大脑网络内的信息沟通中发挥重要作用。（2）节点强度（NS） 测量度的加权变体，其定义为所有邻近边权重的和：
当对大脑区域之间的连接进行加权时，节点强度对于表示大脑网络特别有用。（3）局部效率（LE） 是一种量化特定大脑区域与其近邻沟通程度的指标，定义为：
（4）中间度中心性（BC）是功能性脑网络分析的重要指标。给定一个节点vi，其介数中心性计算为网络中通过vi的所有区域对之间的最短路径的分数，定义为：
（5）排序系数（AC） 量化具有相似度模式的节点连接的倾向，表示为：
（6）传递性 是一种量化邻近区域之间的连接可能形成集群的程度的指标（例如，三角形），其表示为：
利用fMRI数据构建用于预测的人工智能模型是一种新兴趋势，例如疾病诊断、年龄估计 、脑状态检测。许多现有的工具箱已经研究了用于分析功能磁共振的传统机器学习模型，这些模型主要依赖于手工制作的特征进行模型构建。除了包括这些常规模型外，研究的工具箱还嵌入了流行的深度学习预测模型，这是以往研究中忽略的。深度学习模型可以学习由下游任务指导的数据驱动的fMRI特征，从而消除了手动设计特征的领域专业知识的需要。值得注意的是，研究将预训练策略融入到每个深度学习模型中，产生了一个具有高度泛化能力的骨干编码器，可以很好地适应新的数据集/任务。此外，研究为每个深度学习模型集成了联合学习策略，允许使用多个数据站点协作训练它，同时保持数据的分散性和私密性。通常是将人类工程化的fMRI特征作为输入，然后进行模型预测。在研究的工具箱中，用户可以为分类和回归任务构建机器学习模型，整个框架如图8所示。具体地说，在给定输入的fMRI特征的情况下，研究可以首先选择信息特征，这可能会消除噪声和不相关的特征，有助于减少过拟合问题。基于得到的特征，研究可以构建用于分类/回归的机器学习模型。为了验证所构建模型的有效性，给出了几个评价指标。通过将特征选择、模型构建和模型评估集成到一个统一的框架中，研究的工具箱实现了基于功能磁共振特征的简化模型预测。机器学习模型构建模块如图9所示，该机器学习框架的主要组成部分如下。
图8
图9
（1）用于特征选择的技术。由于输入的fMRI特征可能是高维的，研究的工具箱允许用户在执行分类/回归之前选择信息丰富的特征。三种流行的特征选择技术被嵌入到行动中，包括：①主成分分析(PCA)，它通过保留对数据方差贡献最大的特征(即，主成分)来降低维度；②单变量特征选择(UFS)，它基于ANOVA选择与目标变量关系最强的特征。③T检验，它根据特征的p值来选择特征，其中低p值表示对应的特征在区分两组时具有统计学意义。
（2）数据分区策略。研究将输入数据分为训练集和验证集，以评估机器学习模型的性能。训练集用于训练模型，而验证集用于基于训练的模型评估模型的性能。研究的工具箱提供了两种不同的数据划分策略：①K-折叠交叉验证：该策略将输入数据划分为K个不同的子集。在模型训练过程中，一个子集被作为验证集来评估模型的性能，而其余的K-1个子集被用于模型训练。该过程重复K次，每个K子集用作验证集一次。最终预测是通过对这些K倍验证结果进行平均得出的。这种数据分区策略确保了模型在所有样本中得到验证。②随机分区：该策略按照指定的分区比例R%随机划分输入数据。也就是说，R%的数据样本用于模型训练，而其余的数据用于验证。
（3）评估指标。研究的工具箱提供了几个用于模型评估的指标。对于分类任务，使用了七个指标：受试者工作特征曲线下面积(AUC)、准确度、平衡准确度、F1分数、灵敏度、特异度和精确度。它还允许用户绘制混淆矩阵和AUC，以可视化分类结果。对于回归任务，研究使用工具箱中的平均绝对误差、均方误差和协调相关系数来评估模型。
在ACTION中，研究结合了十种流行的深度学习方法，用于计算机辅助功能磁共振成像分析。此外，对于每种方法，研究的工具箱都以自监督的方式基于大规模的未标记fMRI数据构建了一个预训练的深度学习模型。由于预先训练的模型是基于大量和多样化的fMRI数据构建的，因此预计它们将捕获更一般的fMRI特征，从而帮助提高下游任务中的模型性能。此外，预先训练的模型可以用来在有限样本量的情况下对下游任务进行微调，促进有效的知识传递，减少模型过拟合问题。
构建预先训练的深度学习模型的框架如图10所示。为了训练模型，研究使用了来自三个公共数据集的3806个静息状态功能磁共振扫描，包括自闭症脑成像数据交换(ABIT)倡议、REST-META-MDD联盟、和ADHD-200。这些功能磁共振扫描的选择标准和它们的ID信息在补充材料中给出。如图10所示，该框架包含三个主要组件，包括fMRI BLOD信号增强、图形构建和自我监督对比学习。以3806 fMRI时间序列为输入，首先使用切片策略进行数据增强，得到两个增强信号X1和X2。这里，通过分别分割全长信号的前90%和最后90%来获得X1和X2。然后，将它们送入图形构建模块，用于fMRI特征学习。这一步是可选的，具体取决于深度学习方法的具体架构。之后，将xi或G(Xi)(i=1或2)输入到两个共享主干编码器用于特征学习，分别得到fMRI表示Z1和Z2。在Z1和Z2的基础上，研究利用两个多层感知器(MLP)层来抽象更高层的特征表示p1和p2。
图10
在下文中，研究详细介绍了ACTION中包含的用于fMRI分析的十种深度学习方法（见图11）
（1）Transformer是一种基于自我注意的深度学习模型，已成为处理序列数据的基础。对于功能磁共振成像分析，研究首先通过皮尔逊相关性为每个受试者构建基于功能磁共振时间序列的脑网络，记为g∈RN×N，其中N表示感兴趣区的数目。大脑网络g被认为是Q、K和V，然后它们被馈送到变压器。然后，研究利用自我注意来动态权衡网络中不同区域的重要性，捕捉大脑区域之间的依赖关系。（2）图卷积网络(GCN)是一种功能强大的图神经网络，专门为处理图结构的数据而设计，例如脑网络。在研究的例子中，研究还使用皮尔逊相关性来构建大脑网络/图。每个结点代表每个图结点，第i个结点的特征用第i行表示在脑网络g∈RN×N中。使用节点之间的功能连通性的值来测量边缘特征。然后，研究利用两个堆叠的图卷积层来更新和聚合每个图形节点/大脑区域的表示，从而产生大脑网络的分层表示。（3）图形注意网络 通过引入注意机制扩展了图形注意网络的概念。GAT的节点和边特征与GCN相似。与GCN不同，GCN平等对待所有区域的贡献，GAT采用了可学习的注意掩码，动态地为每个大脑区域分配不同的权重，使模型能够更专注于与任务相关的信息。（4）图同构网络(GIN) 通过推广Weisfeeller-Lehman(WL)测试，在图神经网络中实现了最大的区分能力。像GCN一样，以脑网络为输入，研究堆叠了两个GIN层用于fMRI特征学习，然后进行池化操作以生成图形表示。请注意，GIN的节点和边缘特征与GCN中的相似。（5）Graph Sample and Aggregate(GraphSAGE) 是一种用于分析图形结构数据的方法。以大脑网络为输入，GraphSAGE通过采样和聚合来自其本地邻居的信息来学习节点表示。值得注意的是，在GraphSAGE中，节点和边特征类似于GCN中的特征。也就是说，第j个脑区的特征由对应的行来表示，它度量与第j个脑区相关的功能连接，而边缘特征则使用节点间功能连接的值来度量。为了提取fMRI特征，利用了两个GraphSAGE层，然后进行池化操作。（6）脑网络卷积神经网络(BrainNetCNN) 是专门为脑网络分析而设计的。BrainNetCNN的输入是描述脑功能连接体的大脑网络/图，用皮尔逊相关系数来衡量。BrainNetCNN由3个卷积过滤器(边到边、边到节点和点到图)组成，用于捕获大脑网络的拓扑结构信息。（7）脑图形神经网络(BrainGNN) 是一种用于分析功能磁共振成像和检测神经生物标志物的图形神经网络。以脑网络/图形为输入，BrainGNN使用两个节点级图形卷积层来学习节点表示，从fMRI数据中捕获拓扑和功能模式。（8）时空图卷积网络(STGCN) 被设计用于通过时空图卷积单元(GCU)从fMRI时间序列中联合提取空间和时间特征。具体地说，每个受试者的fMRI时间序列首先被馈入两个GCN以捕获空间特征，然后导出的特征通过时间卷积单元(通过标准的一维卷积运算)来建模连续体积上的时间动力学。在这里，研究堆叠两个GCU来建模时空模式，然后通过池化操作生成图表示。（9）时空注意图同构网络(STAGIN) 被设计用于使用时空注意来建模fMRI动力学。具体地说，它首先使用滑动窗口方案对fMRI时间序列进行划分，从而得到t个加窗时间序列XT。对于XT，研究可以为每个受试者构建一个大脑网络/图GT∈RN×N。第i个节点的节点特征用成组图的第i行表示，边特征用皮尔逊相关系数度量的函数连通性表示。然后，研究使用GIN来聚合每个窗口中的节点特征。然后，利用Transformer捕获不同窗口GT上的时间注意，以表征fMRI动态，产生时空图表示。（10）模块化约束图神经网络(MGNN)是专门为学习fMRI的时空动态表示而设计的。FMRI特征提取过程类似于STAGIN。此外，MGNN提供了一种新的方案来结合大脑模块化来学习fMRI特征，这鼓励相同模块中的节点表示相似。然后，通过汇集操作来生成图形级特征表示。此外，研究的工具箱提供了五种联合学习策略，使模型能够在许多分散的数据站点上进行训练，从而促进多站点fMRI研究。以下介绍这些策略。（11）联邦平均(FedAvg)是一种广泛使用的分布式学习范式。具体地说，本地站点首先复制全局模型参数，这些参数是随机初始化的或由研究的预训练模型初始化的。这些站点根据其本地数据独立计算渐变，并将渐变的更新发送到中央服务器。然后，服务器通过平均这些更新来更新全局模型，并将更新后的模型发送回每个站点以用于下一轮培训。（12）Federated Proximal(FedProx)，它通过解决跨站点异质性来提炼FedAvg。具体地说，与FedAvg类似，FedProx首先通过对从每个本地站点接收的参数进行平均来获得全局模型。然后，通过在每个站点的优化目标中引入正则化(即最近项)来缓解全局模型参数和局部模型参数之间的偏差，从而帮助消除参数漂移。（13）模型对比联邦学习(MON)，它是基于FedAvg设计的，其中首先通过平均局部站点的参数来构建全局模型。然后，它最大化局部模型和全局模型学习的表示之间的相似度，并最小化当前训练轮中的局部模型表示和上一轮训练中的局部模型表示之间的相似性，从而帮助纠正局部训练。（14）本地全局联合平均(LGFedAvg)，它捕获每个站点上的紧凑本地表示和所有站点上的全球模型。具体地说，它将本地站点中最后一层的参数发送到中央服务器进行聚合，而其他参数保留在每个本地站点。以此方式，通信参数的数量可以比其他联合学习算法(例如，FedAvg)小得多。（15）带Moreau信封的个性化联合学习(PFedMe)，旨在解决不同站点之间的统计多样性问题。它使用Moreau包络作为局部站点的正则化损失函数，帮助将局部模型的优化过程与全局模型的学习过程解耦。因此，可以利用全局模型来优化局部模型。研究使用真实的fMRI数据集（称为NYU）进行模型评估。该数据集由50名被诊断患有自闭症谱系障碍（ASD）的患者和50名健康对照（HC）组成。所有受试者均从ABIDE的纽约大学站点随机抽样。4研究利用该数据集来探索所有引入模型的诊断能力，即将ASD患者与HC进行分类。此外，为了评估联邦学习策略的有效性，研究还包括了ABIDE的另外两个网站，即UM和ULA，帮助训练全球模型并评估每个站点的诊断性能。所有研究受试者的人口统计学特征见表2，受试者ID见补充材料。
基于静态fMRI数据处理助手的标准化fMRI预处理管道（DPARSF）用于预处理所有fMRI扫描，包括丢弃前10个体积、切片定时纠正、头部运动估计、带通过滤、干扰协变量回归、T1加权图像和平均功能图像之间的配准，以及从个体原生空间到蒙特利尔神经研究所（MNI）模板空间的转变。在这项工作中，研究使用具有N = 116个兴趣区的自动解剖标记（AAL）图谱进行大脑兴趣区分组，从而产生每个受试者的区域平均fMRI时间序列。
研究首先基于来自纽约大学的fMRI数据验证了3.4.1节中介绍的传统机器学习模型的性能。具体地说，给定fMRI时间序列数据，研究首先使用皮尔逊相关性为每个受试者构建一个功能大脑网络。然后，研究将网络的上三角形元素展平，并将它们转换为矢量化表示。
如表3所示，支持向量机、RF、XGBoost和KNN利用主元分析进行特征选择，然后将导出的特征馈入支持向量机模型进行最终预测。支持向量机-UFS和支持向量机-T检验代表了利用UFS和t-检验进行特征选择的方法。注意，对于所有的实验，特征维度都被降到了20个维度，并且研究选择了5次交叉验证来进行模型训练。在研究的工具箱中输入fMRI特征和相应的诊断标签后，研究可以很容易地获得每个模型的分类结果，如表3所示。从表3可以看出，这些机器学习模型在将ASD患者与HCS进行分类方面取得了良好的结果，表明了它们的有效性和有效性。此外，研究的工具箱还提供绘制混淆矩阵和AUC图的功能，使用户能够可视化预测结果。图12展示出了ACTION中包括的传统机器学习模型的可视化结果。
表3 纽约大学ASD与HC分类中的机器学习模型结果。UFS：单变量特征选择; ASD：自闭症谱系障碍; HC：健康对照。
图12。在纽约大学演示由四种传统机器学习方法生成的用于ASD诊断的混淆矩阵和UC图。曲线下面积：受试者工作特征曲线下面积; TLR：真阳性率; FPR：假阳性率; 1：自闭症谱系障碍（ASD）患者; 0：健康对照。
在第一组实验中，研究使用5次交叉验证策略验证了纽约大学fMRI上用于ASD诊断的十个深度学习模型的性能。所有模型都使用预训练的深度学习模型进行初始化，并在纽约大学的训练集上进行精调，分类结果如表4所示。从表4可以观察到，这些深度学习模型在ASD识别中取得了令人满意的性能。在第二组实验中，研究评估了工具箱中引入的联邦学习策略的有效性。在这里，研究使用预先训练的GCN作为基线模型，在此基础上应用不同的策略。表5报告了五种联合学习策略对ASD诊断的分类结果。此外，研究还包括两种非联合学习方法(即单一学习方法和混合学习方法)以供比较。具体地说，该方法仅使用来自单个站点的数据，通过5次交叉验证进行模型训练和测试，而不在各个站点之间进行知识转移/共享。“Mix”方法使用从所有站点汇集的所有数据。“平均结果”中的“单一”方法的结果推导如下。研究首先获得每个站点的预测结果，然后将所有三个站点的预测结果连接在一起。然后，利用相应的地面实况标签进行模型预测，得到预测结果。在这七种相互竞争的方法中采用了5倍交叉验证策略。
表4纽约大学ASD与HC分类的深度学习模型结果。ASD：自闭症谱系障碍; HC：健康对照。
从表5可以看出，联邦学习模型的表现通常优于“单一”方法。根本原因可能是联邦学习能够从多个数据站点捕获不同的fMRI特征，这可以帮助增强模型概括性，从而产生更好的预测结果。此外，与“混合”方法相比，这些模型还显示出更好的分类结果。可能的原因可能是，联合学习使多个站点能够协作训练模型，这使得每个站点能够利用来自其他站点的补充知识，从而增强分类性能。表5 三个地点（即，纽约大学、UM和ULA）。还提供了三个站点的平均结果。ASD：自闭症谱系障碍; HC：健康对照。
在这一部分，该研究研究了不同的功能MRI增强方法对ASD和HC分类的影响。BLOD信号增强和图形增强的分类结果都可以在表6中找到。具体地说，研究使用的基线是GAT模型。对于增强的‘’上采样‘’策略，研究通过使用比率u∈{1.2，1.4，1.6，1.8}的快速傅立叶变换执行上采样来增强原始的BLOD信号。对于下采样，研究使用快速傅立叶变换对原始BLOD信号进行下采样，其比率为b∈{1∕1.2，1∕1.4，1∕1.6，1∕1.8}。在“切片”的情况下，研究使用S∈的切片比率{95%，90%，85%，80%}对fMRI时间序列进行随机分割。在噪声抖动的情况下，研究通过添加高斯噪声g来增加数据，每个元素从N(∗∈，vμσ)中采样，其中v抖动{0.01，0.02，0.03，0.04}。对于每种图增强方法，研究随机生成另外四个用于数据增强的图，并将它们送入GAT模型进行分类。在上述所有方法中，研究使用了五次交叉验证来进行模型训练。在每个文件夹中，只有训练数据被增加，而验证/测试数据保持不变。从表6可以看出，与基线模型相比，所有增强策略通常都有助于增强分类结果，这表明了fMRI增强在分类中的有效性。
表6 不同fMRI增强方法的分类结果（%），即，(a)BOLD信号增强和（b）图形增强，在纽约大学ASD与HC分类中。ASD：自闭症谱系障碍; HC：健康对照; BAT：平衡的准确性。
在这一部分中，研究验证了不同大脑网络构建方法对纽约大学ASD与HC分类的影响。这些方法用于构建每个受试者的大脑网络/图，然后将其输入GAT模型以进行最终预测。不同大脑网络构建方法得出的分类结果如表7所示。从该表中，研究可以看到，与四种方法相比，使用皮尔逊相关性、斯皮尔曼相关性和高级功能连接性构建的大脑网络通常会产生更好的分类结果（即，互信息、部分相关、稀疏表示和低级表示）。
表7 纽约大学ASD与HC分类中不同脑网络构建方法的分类结果（%）。ASD：自闭症谱系障碍; HC：健康对照; BAT：平衡的准确性。
在这一部分，研究调查了不同的脑网络特征提取方法对纽约大学ASD和HC分类的影响。在这里，研究使用皮尔逊相关性来构建每个受试者的大脑网络/图，然后提取三种类型的特征，即基于节点的特征、基于图的特征和基于节点和图的特征。将得到的特征送入线性支持向量机模型进行最终预测。不同的脑网络特征提取方法的分类结果如表8所示。从表中可以看出，基于节点的特征和基于节点和图的特征都可以帮助产生良好的预测结果。
表8 纽约大学ASD与HC分类中不同大脑网络特征提取方法的分类结果（%）。ASD：自闭症谱系障碍; HC：健康对照; BAT：平衡的准确性。
在本节中，研究研究了不同数据增强方法的各种组合，并在表9和表10中报告了相应的实验结果。表9列出了不同BLOD信号增强方法的结果，表10报告了不同图形增强方法的结果。研究使用的深度学习模型是GAT、GIN和GCN，而传统的机器学习模型是支持向量机、RF、XGBoost和KNN。在表9中，B1、B2、B3、B4和B5分别表示原始fMRI的BLOD时间序列、上采样(上采样率为1.2)、下采样(下采样率为1/1.2)、切片(切片比率为95%)和噪声抖动(添加0.01标准差)。在表10中，G1、G2、G3、G4、G5、G6和G7分别表示基于图形的原始数据(由皮尔逊相关系数测量)、随机节点丢弃(丢失率为0.2)、保持中枢的节点丢弃(丢失率为0.2)、随机边缘扰动(丢失率为0.2)、依赖权重的边缘去除(去除率为0.2)、子图裁剪(裁剪率为0.2)和属性掩蔽(属性掩蔽率为0.2)。从这两个表中，研究可以看出，与没有数据增强策略的模型相比，具有数据增强策略的模型通常产生更好的分类结果。例如，对于表9中的GAT，“B1+B2”、“B1+B2+B3”和“B1+B2+B3+B4”显示出比“B1”更高的AUC和准确度。研究还发现，并不是所有的增强技术都有助于产生更好的性能。例如，‘’B1+B2+B3+B4+B5‘’的预测结果不如‘’B1‘’，这表明用户应该在实践中尝试各种组合，以找到最合适的增强。在研究的实验中，研究可以看到，与其他机器学习分类器(即支持向量机和KNN)相比，RF和XGBoost表现出了更高的分类结果。原因可能是RF和XGBoost天生就能更好地捕捉数据中的非线性，在拟合更广泛的数据模式方面更灵活，而支持向量机和KNN更适合捕捉线性或更简单的关系，而大多数实际实践中并非如此。此外，RF和XGBoost都是结合多个决策树以提高预测性能的集成方法。与支持向量机和KNN等较简单的模型相比，这两种方法可以更好地处理含噪声数据和过拟合问题。此外，研究发现一些深度学习方法(如GIN、GCN)的结果不如RF和XGBoost，这可能是由于研究测试集的数据量有限所致。深度学习模型通常需要大量的数据才能很好地推广。由于数据有限，他们可能会过度适应，记住训练数据，而不是学习一般模式。此外，深度学习模型通常比机器学习模型(例如，RF和XGBoost)更复杂并且具有更多的参数。当数据集很小时，这种复杂性可能会导致过拟合，从而导致预测结果较差。
表9 纽约大学ASD与HC分类中fMRI BOLD信号增强方法的各种组合的分类结果（%）。ASD：自闭症谱系障碍; HC：健康对照; BAT：平衡的准确性。
在这一部分，研究调查不同的数据增强技术是否可以产生关于最重要的特征的相似的预测结果。具体地说，研究首先使用“脑网络特征提取”模块中的方法(在第3.3节中介绍)来提取每个受试者的fMRI特征。为了在不同的增强设置(例如，B1+B2，B1+B2+B3)中提取最重要的特征，研究基于扩展的训练样本进行t检验，以获得每个特征的p值。对p值进行从小到大的排序后，就可以得到它们对应的特征，而top-K特征可以作为重要的特征。这里，K被设置为100、200、300和400。这些特征被送入分类器(如建议的XGBoost)用于推理，实验结果在新增加的表11和12中。表11和12分别显示了基于纽约大学ASD与HC分类中最重要的特征的fMRI的BLOD信号增强和图形增强的各种组合的分类结果。从表11可以看出，对于BLOD信号增强方法的不同组合，预测结果是一致的，这表明BLOD信号对各种扰动都是稳健的。从表12研究可以观察到，当数据增强策略变得更加多样化时，预测结果通常会变得更差。原因可能是当应用了太多类型的图形扩充时，扩充后的图形可能不再类似于原始fMRI数据的内在属性，使得模型难以学习有意义的fMRI表示。与通常保留数据时间结构的BLOD信号增强不同，更多样化的图形增强可能很容易破坏关键的连通性信息，特别是在过度使用节点或边更改等方法时。需要注意的是，在数据增强部分，研究的目的是提供不同类型的数据增强方法供用户选择，研究鼓励用户在实践中尝试各种组合，找到最合适的增强方法。此外，研究还必须指出，从表6可以观察到，每种图形增强方法都可以一致地帮助提高预测结果，这证明了每种单独的图形增强策略的有效性。表10 纽约大学ASD与HC分类中图形增强方法的各种组合的分类结果（%）。ASD：自闭症谱系障碍; HC：健康对照; BAT：平衡的准确性。在本部分中，研究使用一个开放的重测fMRI数据集(Huang et al.，2016)来评估现有数据增强技术的可靠性。这一重复的fMRI数据集是从61名健康成年人中收集的，在两次会议中使用高度相似的成像参数，间隔103-189天。智商(IQ)是使用瑞文的高级累进矩阵对每个受试者进行测量的。在这里，研究进行的任务是智商识别，研究希望区分智商较高的受试者和智商较低的受试者。研究对象的人口统计信息可以在表13中找到。研究使用这个重测fMRI数据集使用了不同的增强方法，实验结果如表14和15所示。从表中可以观察到，经过数据增强后，两次会议的预测结果都有高于基线模型的趋势，这表明了所提出的增强技术的有效性。此外，两次会议的分类结果相当一致，这验证了研究使用该数据集引入的增强技术的稳健性和可重复性。
首先，当前的工具箱从时间序列和图形的角度研究功能磁共振数据增强策略。受益于生成模型在数据增强方面的良好前景，未来的工作将探索创新的生成方法(例如，扩散模型)，以增强数据多样性和规模。其次，现有的工具箱限制用户仅使用本地计算资源来训练深度学习模型。未来，研究计划开发一个云计算平台，让有限计算资源的用户从事深度学习fMRI分析。第三，尽管研究的工具箱提供了带有图形控件和可视化的用户友好界面，但它受到与特定包版本的兼容性的限制。研究打算通过创建一个Docker容器来解决这个问题，该容器封装了未来所有必要的环境和依赖项。此外，目前的工作只支持单独构建基于人工智能的模型，而没有利用可能捕获互补功能磁共振模式的多个模型。有趣的是，将先进的集成学习算法整合到这个工具箱中，以进一步提高其实用性。此外，目前的工具箱是缺乏长期维护机制，缺乏错误分析的反馈机制。为解决这一问题，今后的工作将包括指派一名专门的专家负责监督软件更新，并根据用户的反馈修改现有功能。这将确保工具箱保持功能、可靠，并随着时间的推移不断改进。此外，目前的工具箱只在脑网络构建模块中构建静态的功能连接网络，而忽略了fMRI信号固有的动态特性。在未来，研究将探索构建动态大脑网络，例如，利用滑动窗口策略来表征fMRI数据的时间变异性。最后，对该ACTION软件在美国纽约大学的网站上进行了实证评估。值得注意的是，实验结果可能会受到数据规模的限制。因此，该软件的用户应该仔细评估模型输出的可信性，并进行全球可解释性分析，以确保结果具有神经生理学意义。介绍了一个基于Python的跨平台的计算机辅助功能磁共振分析工具箱ACTION。该ACTION由四个部分组成：fMRI数据增强、脑网络构建、脑网络特征提取和人工智能模型构建。它结合了最先进的功能磁共振数据增强策略和深度学习模型。此外，研究的工具箱中嵌入了联合学习策略，以帮助用户实现他们的多站点fMRI研究，而不需要集中的数据存储和计算。在三个功能磁共振网站上的实验表明，ACTION的有效性和用户友好性。研究希望这一行动能帮助研究人员更有效地分析fMRI。
这篇文章介绍了一个名为ACTION的开源工具箱，用于基于功能性磁共振成像（fMRI）数据的大脑网络分析。该工具箱提供了全面的功能，包括fMRI数据增强、大脑网络构建、大脑网络特征提取以及人工智能模型构建，旨在简化fMRI数据分析流程，并支持深度学习模型的预训练和联邦学习策略，以提高模型性能和多中心研究的可行性。
功能性磁共振成像（fMRI）是一种非侵入性技术，通过检测血液氧合水平依赖（BOLD）信号的变化来测量大脑的自发活动。fMRI在神经科学研究中被广泛应用，尤其是在研究大脑功能活动、诊断神经疾病和识别生物标志物方面。然而，现有的fMRI分析工具箱通常缺乏数据增强功能，这对于数据量有限或不平衡的研究尤其有用。此外，大多数研究依赖于传统机器学习模型，这些模型依赖于人工设计的fMRI特征，而没有探索能够自动学习数据驱动特征表示的深度学习模型。
ACTION工具箱提供了两种主流的数据增强方法：BOLD信号增强和脑网络增强。BOLD信号增强通过操作原始fMRI时间序列来引入变化，例如上采样、下采样、切片和噪声抖动。脑网络增强则通过操作由fMRI构建的脑网络/图来引入变异性，例如删除节点、扰动边或修改图结构。
工具箱包含了七种流行的大脑网络构建方法，包括皮尔逊相关性、互信息、偏相关性、斯皮尔曼相关性、高阶功能连接、稀疏表示和低秩表示。此外，还提供了两种网络稀疏化策略，以聚焦于代表神经过程的强连接。
基于构建的大脑网络/图，可以提取多种网络特征，包括基于节点的特征（如节点度、节点强度、局部效率等）和基于图的特征（如密度、模块化、特征路径长度等）。
工具箱支持构建传统机器学习模型和深度学习模型。对于深度学习模型，提供了基于大规模未标记fMRI数据的预训练策略，以提高模型在下游任务中的性能。此外，还集成了联邦学习策略，以支持多中心fMRI研究。
实验使用了来自ABIDE数据库的纽约大学（NYU）站点的真实fMRI数据集，包含50名自闭症谱系障碍（ASD）患者和50名健康对照（HC）的静息态fMRI扫描。此外，还使用了UM和UCLA站点的数据来评估联邦学习策略的有效性。
在NYU站点的数据上验证了传统机器学习模型的性能，包括支持向量机（SVM）、随机森林（RF）、XGBoost和KNN。结果显示这些模型在ASD与HC分类任务中表现良好，AUC值在77.35%到90.89%之间。
在NYU站点的数据上验证了十种深度学习模型的性能，包括Transformer、GCN、GAT等。结果显示这些模型在ASD与HC分类任务中也取得了满意的性能，AUC值在61.25%到87.51%之间。
使用预训练的GCN作为基线模型，应用不同的联邦学习策略进行评估。结果显示，联邦学习模型通常优于仅使用单个站点数据的“Single”方法，表明联邦学习能够捕捉多个数据站点的多样性特征，从而提高模型的泛化能力。
研究了不同fMRI增强方法对ASD与HC分类的影响。结果显示，所有增强策略通常都能提高分类结果，证明了fMRI增强在分类中的有效性。
ACTION工具箱提供了一个全面的fMRI分析平台，支持数据增强、大脑网络构建、特征提取和人工智能模型构建。
深度学习模型和联邦学习策略的集成提高了模型在多中心fMRI研究中的性能。
数据增强技术，尤其是BOLD信号增强和脑网络增强，显著提高了fMRI数据分析的鲁棒性和泛化能力。
实验结果表明，ACTION工具箱在真实fMRI数据上具有良好的有效性和用户友好性，能够帮助研究人员更有效地进行fMRI分析。参考文献：
Fang Y, Zhang J, Wang L, et al. ACTION: Augmentation and computation toolbox for brain network analysis with functional MRI. NeuroImage 2025;305:120967; doi: 10.1016/j.neuroimage.2024.120967.
解读成员|曹修齐
校对审核成员|林增臻
排版人员|张菲
