矩阵分解学习及其在网络社区发现中的应用研究

矩阵分解学习及其在网络社区发现中的应用研究

论文摘要

矩阵分解学习(Matrix Factorization Learning)是机器学习中应用最广泛的方法之一,其主要目标是把原始的数据矩阵表示为两个或多个低秩矩阵的乘积形式,分解之后的矩阵的秩远小于原始矩阵的秩,再应用低秩的低维矩阵表示处理各种分类和聚类任务。矩阵分解通过将数据分解成不同的紧凑有效表示方法能高效发现模型隐含的潜在因子或预测矩阵中的缺失数值,近年来受到了越来越多研究人员的重视。在网络科学的社区发现应用中,由于所有的网络结构均可以通过关系图来表示,而图的主要结构表征即为其邻接矩阵(Adjacency Matrix);因此应用矩阵分解学习相关方法,能有效将整个社区网络中节点聚合到不同社区中,可以得到很好的应用和实验效果。本文将系统性地调研目前矩阵分解学习和网络社区发现的主要研究方法,并针对网络社区发现中的无监督、重叠效应以及网络数据特性等实际问题,提出半监督对称非负矩阵分解和贝叶斯对称非负矩阵分解两种全新的矩阵分解算法,以社会网络和科学网络为主要研究数据,进行社区发现相关方法比较和具体实践分析,获得良好的实验结果和应用效果。本论文的主要贡献和创新点体现在以下几个方面:1、半监督对称非负矩阵分解算法。一般矩阵分解是无监督方法,而社会网络中常常会存在大量已有真实标签信息(Ground-truth)的数据,同时网络数据矩阵多具有对称特性。本文针对这类数据,提出了基于成对约束的半监督对称非负矩阵分解算法,与其它矩阵分解学习算法比较,所提算法在不同类型网络数据的社区发现应用中均获得了更好的效果。2、贝叶斯对称非负矩阵分解算法。本文将泊松先验和高斯先验引入对称非负矩阵分解学习的贝叶斯推理过程中,提出了贝叶斯对称非负矩阵分解算法,推导了模型的更新规则并进行了实验验证,与其它社区发现算法比较,提出的算法在不同数据集上均获得了较好的实验效果。3、社区发现过程中社区数量自动获取方法。一般矩阵分解学习方法在处理时,无法直接获取分解维度信息。我们在对称非负矩阵贝叶斯推理过程中,利用半正态分布特性,提出一种社区数量自动获取方法,实现维度稀疏压缩,对网络的社区数量进行预测学习。通过比较不同初始社区排名的检测效果,提出的方法较好地解决了实际社区发现中无法获取初始社区数量的问题。4、重叠网络社区发现。在网络社区发现中,一些同时属于多个社区的节点往往是整体信息传递、社会交往中的关键节点,因而重叠网络社区发现逐渐得到更多研究者的关注。通过对网络数据进行分析,本文选取与网络密度相关的合适数值作为混合系数矩阵的重叠阈值,应用在贝叶斯对称非负矩阵分解方法的社区判别过程,有效获取重叠网络社区,并在实际数据进行应用。最后,我们基于提出的矩阵分解学习社区发现方法和理论,在图书馆智能化数据处理过程中,分析科学网络社区发现、成果数据中心学者人名甄别和特藏资源数字人文方法等实际应用需求,有效解决实际分析与数据处理问题,在数字图书馆专业领域取得了一定的应用成效。

论文目录

  • 摘要
  • abstract
  • 主要符号对照表
  • 第一章 绪论
  •   1.1 引言
  •   1.2 论文主要工作
  •   1.3 论文结构安排
  • 第二章 社区发现与矩阵分解学习方法介绍
  •   2.1 网络社区发现主要方法介绍
  •     2.1.1 传统方法
  •     2.1.2 分裂方法
  •     2.1.3 基于模块度的方法
  •     2.1.4 统计推断法
  •     2.1.5 重叠(Overlapping)社区发现
  •     2.1.6 贝叶斯社区发现
  •   2.2 矩阵分解学习主要方法介绍
  •     2.2.1 PCA矩阵分解
  •     2.2.2 ICA矩阵分解
  •     2.2.3 SVD矩阵分解
  •     2.2.4 VQ矩阵分解
  •     2.2.5 NMF非负矩阵分解
  •     2.2.6 半监督NMF分解
  •     2.2.7 贝叶斯NMF分解
  •     2.2.8 非负矩阵分解中的模式选择
  •   2.3 矩阵分解学习与社区发现
  •   2.4 本章小结
  • 第三章 基于半监督矩阵分解的社区发现应用
  •   3.1 半监督对称NMF方法
  •   3.2 PCSNMF方法设计及算法推导
  •     3.2.1 目标函数设计
  •     3.2.2 对应算法
  •     3.2.3 计算复杂度分析
  •   3.3 PCSNMF在社会网络中的实验与分析
  •     3.3.1 主要数据集介绍
  •     3.3.2 主要评价指标
  •     3.3.3 验证确定社区数量
  •     3.3.4 方法结果比较
  •   3.4 本章小结
  • 第四章 基于贝叶斯矩阵分解的社区发现方法与应用
  •   4.1 贝叶斯对称NMF方法
  •     4.1.1 泊松似然
  •     4.1.2 BSNMF的迭代公式
  •     4.1.3 社区数量KC的推导
  •   4.2 BSNMF非重叠社区发现实验
  •   4.3 BSNMF在重叠社区发现中的应用
  •     4.3.1 重叠社区判定阈值δ的确定
  •     4.3.2 重叠社区社区发现主要判别指标
  •     4.3.3 不同重叠网络社区发现的性能比较结果
  •     4.3.4 不同网络上的重叠社区发现效果比较
  •   4.4 本章小结
  • 第五章 矩阵分解学习社区发现应用研究
  •   5.1 科学网络社区发现应用
  •     5.1.1 DBLP科学网络中的应用分析
  •     5.1.2 SJTU合作发文网络应用实践
  •   5.2 中文科学网络社区发现应用实践
  •   5.3 机构学术数据处理及学者甄别社区发现应用实践
  •     5.3.1 通过文本距离进行数据处理
  •     5.3.2 学者甄别过程中的社区发现应用
  •   5.4 数字人文社会网络方法应用
  •     5.4.1 数字人文中的社会网络分析方法
  •     5.4.2 上海交通大学古徽州契约文书社会网络分析实践
  •   5.5 本章小结
  • 第六章 全文总结及未来研究工作展望
  •   6.1 全文总结
  •   6.2 展望
  • 附录A BSNMF收敛性证明
  • 参考文献
  • 致谢
  • 攻读学位期间发表的学术论文
  • 攻读学位期间参与的项目
  • 文章来源

    类型: 博士论文

    作者: 施晓华

    导师: 卢宏涛

    关键词: 矩阵分解,社区发现,非负矩阵分解,半监督学习,贝叶斯方法,科学网络,学者甄别,数字人文

    来源: 上海交通大学

    年度: 2019

    分类: 基础科学,信息科技

    专业: 数学,自动化技术

    单位: 上海交通大学

    分类号: TP181;O157.5

    DOI: 10.27307/d.cnki.gsjtu.2019.000380

    总页数: 126

    文件大小: 7634K

    下载量: 54

    相关论文文献

    • [1].基于低秩稀疏矩阵分解的非接触心率估计[J]. 图学学报 2020(01)
    • [2].融合多关系的矩阵分解社会化推荐算法[J]. 复杂系统与复杂性科学 2020(01)
    • [3].群组信息优化矩阵分解的群组推荐方法[J]. 机械设计与制造 2020(04)
    • [4].引入评分偏置的二项矩阵分解推荐算法[J]. 计算机应用研究 2020(05)
    • [5].基于概率矩阵分解的组推荐系统研究[J]. 电子技术与软件工程 2020(11)
    • [6].基于群组信息改进矩阵分解的群组推荐方法[J]. 计算机应用与软件 2020(09)
    • [7].一种优化的带偏置概率矩阵分解算法[J]. 小型微型计算机系统 2017(05)
    • [8].基于联合矩阵分解的图像情感分析研究[J]. 小型微型计算机系统 2017(05)
    • [9].基于概率矩阵分解的推荐算法[J]. 西安航空学院学报 2017(03)
    • [10].大数据环境下基于概率矩阵分解的个性化推荐[J]. 计算机科学 2017(S1)
    • [11].结合灰色预测的动态概率矩阵分解(英文)[J]. 控制理论与应用 2017(06)
    • [12].基于用户信任和兴趣的概率矩阵分解推荐方法[J]. 计算机系统应用 2017(09)
    • [13].基于协同矩阵分解的评分与信任联合预测[J]. 电子学报 2016(07)
    • [14].矩阵分解[J]. 数学学习与研究 2012(03)
    • [15].基于矩阵分解模型的图片数据库构建[J]. 电子设计工程 2020(15)
    • [16].基于带偏倚最大间隔二值矩阵分解的多值矩阵分层填充[J]. 小型微型计算机系统 2019(03)
    • [17].基于矩阵分解优化的排序学习特征构造方法[J]. 计算机科学 2017(12)
    • [18].基于改进带偏置概率矩阵分解算法的研究[J]. 计算机应用研究 2017(05)
    • [19].基于动态卷积概率矩阵分解的潜在群组推荐[J]. 计算机研究与发展 2017(08)
    • [20].基于低秩矩阵分解和协作表示的人脸图像分类[J]. 西安邮电大学学报 2015(01)
    • [21].矩阵分解的常用方法[J]. 成才之路 2012(36)
    • [22].基于深度矩阵分解网络的矩阵填充方法[J]. 计算机科学 2019(10)
    • [23].基于差值矩阵分解的推荐算法[J]. 计算机与现代化 2018(03)
    • [24].融合社交信息的矩阵分解推荐方法研究综述[J]. 软件学报 2018(02)
    • [25].基于受约束偏置的概率矩阵分解算法[J]. 计算机系统应用 2016(05)
    • [26].基于联合矩阵分解的话题发现与追踪模型[J]. 计算机应用研究 2016(08)
    • [27].基于稀疏与低秩矩阵分解的视频背景建模[J]. 计算机应用研究 2015(10)
    • [28].应用非负值矩阵分解模型的社区挖掘方法[J]. 小型微型计算机系统 2014(06)
    • [29].矩阵分解方法的探究[J]. 长春工业大学学报(自然科学版) 2011(01)
    • [30].联合空间信息的改进低秩稀疏矩阵分解的高光谱异常目标检测[J]. 半导体光电 2020(01)

    标签:;  ;  ;  ;  ;  ;  ;  ;  

    矩阵分解学习及其在网络社区发现中的应用研究
    下载Doc文档

    猜你喜欢