基于深度学习的电子病历多模态数据融合研究进展

目前基于深度学习的多模态学习发展迅速,在图文转换,图文生成等人工智能生成内容领域得到广泛应用.电子病历是医务人员在医疗活动过程中使用信息系统生成的数字,图表和文本等数字化信息.基于深度学习的电子病历多模态融合能辅助医护人员综合分析诊疗过程中产生的医学多模态数据,从而对患者进行精准诊断和及时干预.本文首先介绍了基于深度学习的多模态数据融合方法以及发展趋势;其次,对结构化电子病历数据与影像,文本等其他模态医学数据的融合进行了对比归纳,重点介绍了研究涉及的临床应用场景,样本量,融合方法等;通过分析,总结了针对不同模态医学数据融合的深度学习方法:一是根据数据模态选择合适的预训练模型进行特征表征后融合,二是基于注意力机制进行融合;最后,讨论了医学多模态融合中的难点及发展方向,包括建模方法,模型评估应用等.通过本文综述,期望为建立能综合利用各类模态医学数据的算法模型提供参考信息.

基于深度学习的多模态数据融合方法在短视频情感分析中的应用研究

随着短视频平台的迅猛发展,短视频内容情感分析成为精准理解用户行为和提升内容推荐效果的关键.文章提出了一种基于深度学习的多模态数据融合方法,深度结合视频的视觉,听觉和文本信息,以进行短视频情感分析.对比实验结果表明,该方法在情感分类准确率和F1值上均优于传统的单模态分析方法,为短视频情感分析提供了新的思路.

基于深度学习的多模态情感分析方法研究

近年来,随着智能终端与互联网技术的快速发展,越来越多的用户开始在社交平台上表达情感,社交平台上的数据已经从单一模态演变为多模态形式.随着多模态数据的广泛应用,单模态情感分析方法已经无法有效处理多模态数据并利用其中隐藏的多样性信息.因此,多模态情感分析方法应运而生,并成为新的研究热点.已有的多模态情感分析模型通常采用特征级融合,决策级融合以及混合融合方法对多模态数据进行融合.然而,已有的混合融合方法在进行特征级和决策级融合时,没有同时对三种模态进行融合,不能很好的学习多模态数据之间的交互信息.此外,已有的多模态情感分析模型通常假设多模态情感数据是完整的,而现实中不确定模态缺失的情况经常发生,导致现有的多模态情感分析模型失效.针对上述问题,本文开展了以下研究工作:(1)针对现有的混合融合方法在特征级和决策级融合期间无法捕获所有模态特征的问题,提出了一种基于Bi GRU与混合融合策略的多模态情感分析模型.该模型使用Bi GRU提取单模态特征,通过双模态注意力融合模块对单模态特征进行两两融合.为了在特征级和决策级融合期间捕获所有模态间的交互信息,提出了三模态注意力融合和三模态拼接融合方法,获取两组融合后的三模态特征.随后,对两组三模态特征进行分类,并在决策层对分类结果进行融合,最后进行情感分析.实验结果表明,本文所提出的模型能够充分捕获所有模态之间的交互信息并有效提升模型的性能.(2)针对多模态情感分析中不确定的模态缺失问题,提出了一种面向不确定模态缺失基于模态翻译的多模态情感分析模型.该模型首先使用Transformer编码器提取三种模态特征,并使用Transformer解码器将视觉和音频模态翻译成文本模态;然后,将翻译后的视觉,音频模态和编码后的文本模态融合为缺失的联合特征.接着,对缺失的联合特征进行编码,并使用完整模态训练的预训练模型来监督编码过程,使缺失的联合特征逼近完整的联合特征.同时,使用Transformer捕获多模态联合特征之间的长期依赖关系.最后,Transformer编码器的输出用于最终的情感分类.实验结果表明,提出的方法在不确定模态缺失情景下获得了性能的显著提升.

多模态数据融合算法研究

在大数据时代,海量多模态数据广泛存在,怎样通过模态数据间的互补学习来挖掘数据中隐藏的巨大价值,是现阶段大数据研究关注的主要问题,也是大数据与传统数据学习任务的主要区别。数据融合方法是多模态数据分析与挖掘的重要手段,然而多模态数据的模态不完整性、处理实时性、模态不均衡性和属性高维性为融合方法的设计提出了严峻挑战。本文针对多模态数据的上述特性,开展面向不完整模态分析融合、增量模态聚类融合、异构模态迁移融合和低维模态共享融合四个方面的多模态数据融合算法研究。主要贡献如下:(1)面向不完整多模态数据分析的融合,针对现有不完整多模态分析融合算法难以有效学习跨模态数据共享语义的问题,提出基于深度语义匹配的不完整多模态数据融合算法。利用深度学习网络的高层语义抽象特性,设计耦合模态私有深度网络和不完整模态共享特征学习的统一深度模型,实现不完整多模态数据的深度相关融合,降低模态共享特征的语义偏差。基于模态空间几何特性,设计局部不变图规则化因子,耦合子空间中多模态共享特征和原始模态特征,进一步提升融合结果的准确性。实验验证了该算法能够通过深度语义抽象对不完整多模态数据进行有效相关匹配,保证融合结果的精度。(2)面向增量多模态数据聚类的融合,针对现有多模态增量聚类融合算法精度易受参数选择影响的问题,提出一种无参数多模态数据增量共聚类融合算法。定义了新的多模态数据相似性度量标准,并设计了三种增量聚类策略,即簇创建、簇合并和实例划分,对多模态数据进行无参数增量聚类融合,提高算法效率的同时保证融合结果的鲁棒性。设计一种自适应的模态权重更新机制,在共聚类融合过程中对模态权重进行动态调整,满足模态对融合结果影响的动态变化需求,提升算法的可扩展性。实验验证了该算法在保持新增多模态数据聚类融合精度的同时,能够有效提高动态数据处理的效率。(3)面向异构模态数据迁移的融合,针对现有异构模态迁移融合算法难以有效弥补模态间较大语义偏差的问题,提出基于多层语义匹配的异构模态数据迁移融合算法。耦合模态深度网络与模态语义相关模型,设计基于多层语义匹配的统一深度网络架构。通过每一层跨模态特征的相关匹配,逐步减少异构模态间的语义偏差。利用顶层输出特征的最大相关对模态网络进行整体优化调整,进一步提升模态深度语义的相关性。定义新的目标函数联合优化异构模态深度匹配网络,得到跨模态高层语义融合子空间,在子空间内完成源模态知识到目标模态任务的迁移学习。实验验证了该算法能够通过多层相关匹配有效弥补异构模态数据间的语义偏差,得到更加可靠的迁移融合结果。(4)面向多模态数据低维共享的融合,针对现有多模态低维特征共享融合算法难以有效排除模态私有信息影响的问题,提出一种无监督多模态数据非负相关特征共享融合算法。设计模态私有(不相关或负相关)特征和跨模态共享(相关)特征共学习模型,通过模态私有特征的分离,提升低维共享特征表示的准确性。利用共享特征的耦合建立各模态联合优化目标函数,并利用模态不变图规则化和投影矩阵稀疏化辅助模型优化过程,进一步提升融合结果的精度。通过迭代的相关和不相关特征共训练、更新,得到低维潜在子空间中鲁棒的跨模态共享融合特征。实验验证了该算法能够通过分离模态私有特征有效学习多模态数据的共享特征,完成高维模态数据的低维融合。

基于多模态特征深度融合的微博流事件检测与跟踪

作为一种重要的社会媒体平台,分析,检测并跟踪微博内重大社会事件可以及时提供舆论焦点.但因其碎片化,异构性和实时性,传统方法很难有效分析海量微博,为此,提出一种基于多模态特征深度融合的微博事件检测与跟踪框架.首先基于文本处理对微博事件进行标注;然后用多模态特征深度融合实现事件的检测与表示;最后利用基于时间平滑的图变换模型完成事件流的跟踪.在真实数据集上的实验表明,所提出的方法能有效检测和跟踪微博流事件.

基于多模态深度学习的新型冠状病毒肺炎重症转化风险预测

目的利用深度学习和大数据的技术来识别潜在新型冠状病毒肺炎重症转化高风险患者,帮助医生及时制订有针对性的救治方案.方法收集整理2020年1月24日到2020年2月16日在重庆市公共卫生医疗救治中心收治的216例新型冠状病毒肺炎患者的全病程多模态(即不同类型)的数据,构建了基于多模态深度学习的评估预测模型,对患者当前的病情严重程度进行评估,并对轻症患者发生重症转化的风险进行预测.结果该模型对患者当前状态的病情评估准确度高于95%,对轻症患者发展成为重症患者的预测准确度高于90%.结论基于多模态深度学习模型比传统线性回归模型预测更准确.同时利用多模态诊疗数据能够对新型冠状病毒肺炎重症转化风险进行准确预测.