一、关于分布式、异构、历史遗留数据的数据挖掘研究（论文文献综述）
邓晶艳[1]（2021）在《基于大数据的大学生日常思想政治教育创新研究》文中研究表明中国特色社会主义进入新时代,标定了大学生日常思想政治教育的新方位。面对新时代提出的新任务与新要求,大学生日常思想政治教育要不断探索新思路、新路径与新方法,进一步增强工作的针对性与实效性,以满足大学生成长成才需求以及党和国家事业发展需要。当前,随着移动互联网、物联网、云计算、人工智能等为代表的新一代网络信息技术的迅猛发展、全面集成与广泛应用,人类逐步迈入大规模数据挖掘、运用与创新的“大数据时代”。在此时代背景下,如何运用新媒体、新技术加强和创新高校思想政治教育工作,使之富有时代性、增强针对性、彰显实效性,是新时期高校面临的一个重要而现实的课题。作为当代信息技术发展的前沿,大数据广域的信息资源、先进的信息处理技术以及全新的思维范式,为大学生日常思想政治教育带来了即时性、精准性、前瞻性与个性化等创新发展的新动力与新空间。将大数据思维、技术与方法全方位嵌入大学生日常思想政治教育各要素、各环节与全过程,促进大学生日常思想政治教育革新思维、优化供给、改进方法、重构范式,建构科学化、数字化与智能化的大学生日常思想政治教育体系,推进大学生日常思想政治教育向“精准思政”“智慧思政”转型升级,是大学生日常思想政治教育顺应时代发展的现实需要,也是其进一步提质增效、焕发新机的重要生长点与强劲推动力。阐释大数据内涵、价值、特征与功能,阐释大学生日常思想政治教育内涵并且辨析其与大学生思想政治理论教育的关系,有利于进一步探讨两者的深度融合。基于此,大学生日常思想政治教育大数据概念得以提出。从大学生日常思想政治教育大数据资源、大学生日常思想政治教育大数据技术、大学生日常思想政治教育大数据思维三个维度全面阐述大学生日常思想政治教育大数据的内涵与外延,同时运用马克思主义哲学基本原理和方法论论析大学生日常思想政治教育大数据的生成逻辑、发展动因、方法论基础与价值取向,可以明确大数据与大学生日常思想政治教育需求的契合点,理清大数据对大学生日常思想政治教育的作用机理。面对新时代提出的新任务与新要求,大学生日常思想政治教育仍然面临一些困境、存在一些短板和弱环。运用文献资料法、大数据文本挖掘方法与访谈调研法审视大学生日常思想政治教育现状,总结当前大学生日常思想政治教育存在的问题与困境并作原因剖析,同时探讨新时代大学生日常思想政治教育新要求,指出新时代大学生日常思想政治教育面临的新课题以及新时代大学生日常思想政治教育的指导思想与原则、教育内容体系以及教育工作的主体转型,有利于为新时期大学生日常思想政治教育发展创新提供现实依据。通过分析大数据在大学生日常思想政治教育中应用的技术优势以及可能性,进一步探讨大数据在大学生日常思想政治教育中“精准画像”“规律探寻”与“超前感知”三个应用呈现。以之为基础,基于当前大学生日常思想政治教育存在的理念滞后、模式粗放、知行脱节、供需错位等难题,提出利用大数据推进大学生日常思想政治教育由线性思维向系统思维、由普适教育向个性化培育、由认知培育向实践养成、由需求侧适应向供给侧发力四大发展转向并详细阐述四大发展转向的实现路径。基于大数据推进大学生日常思想政治教育不仅要遵循学科规律、注重理论深化,还要坚持实践导向,致力推动大数据应用,促进理论与实践的双向转化。由之,宏观上,探索大学生日常思想政治教育大数据的数据采集、数据预处理与存储、数据挖掘与分析、数据应用与可视化、数据解释与反馈五大工作模块与应用流程;微观上,对大数据在大学生日常思想政治教育典型场域中的“数据画像”“精准资助”“失联告警”三个应用进行数据模型构建,从而为大学生日常思想政治教育利用大数据提供切实可行的实现路径。大数据为大学生日常思想政治教育创新发展带来了前所未有的机遇,然而,当前大学生日常思想政治教育利用大数据还存在观念性、路径性与机制性瓶颈,同时,大数据是一柄双刃剑,对数据的不当应用会带来诸如“数据垄断”“数据滥用”“数据侵害”“数据冰冷”等一些可能的风险与挑战。高校尚须在思维理念、技术开发、政策支持、制度完善、机制建设、校园环境建设等方面对大数据应用作出回应与调试。不仅如此,在基于大数据创新大学生日常思想政治教育过程中,高校要注重发挥教育工作者的主体性与能动性,始终坚持数字技术与人文精神、数据智能与教育智慧相结合。
关云昊[2]（2021）在《河北财税信息管理系统的设计与实现》文中指出随着大数据时代的来临,河北省税务各个业务系统的数据量也在不断增长,从TB级别的数据量快速进入到PB级别的数据量,由于海量数据的出现,财税部门存在信息割据、数据凌乱、应用低效等问题。问题包括（1）数据采集问题,由于税涉及的数据源或系统比较多,数据采集使用技术比较落后,目前好多还使用dblink直接连接方式采集数据,严重影响系统性能;（2）数据共享问题,数据汇聚主要依赖部门逐层数据填报,报送效率低下,业务数据获取难、缺乏标准,数据质量低下,分析应用困难。为了解决此问题,基于河北省财税的数据资源现状,梳理出目前的需求,首先,异构数据采集困难需求,也无法满足财税对数据资源的需求。其次是缺乏数据治理的流程或手段需求,由于前期烟囱式的系统比较多,数据比较分散,并且没有统一的数据标准。然后,税收预警需求,数据分析还停留在静态数据的分析,数据实时性差。最后是数据共享需求,数据由于没有做标准化,无法对数据进行对外提供数据服务。基于如上需求进行分布式架构设计,包括数据采集、数据处理、数据治理、税收预警管理、数据共享共5大模块进行设计。系统在上线运行一段时间后表明,系统具有可靠性好、可用性好、稳定性高、并发性能高等特点,对财税海量数据形成统一的财税数据资源中心,融合异构数据,利用大数据技术支撑上层业务场景,提升财税数据的对外服务能力。推动财税数字化转型,助力服务与治理能力提升。
吴雅威[3]（2021）在《面向智库需求的智慧数据服务模式及服务能力评价研究》文中研究表明近年来,作为决策咨询机构的智库,一直受到政府机构和决策者的高度重视,一系列相关政策法规的出台与实施,更为智库的建设与发展指明了道路和方向。然而,由于缺少多源数据、智慧化技术手段和专业人才支持在一定程度上制约了智库的快速发展,迫切需要图书情报机构（以下简称图情机构）提供智慧数据服务以满足智库复杂需求。目前,大数据时代持续推动着图情机构服务模式发生重大变化,正在促使其由传统信息服务向智慧数据服务转型。因此,当前智库到底存在哪些智慧数据服务需求,图情机构面向智库需求应该采取何种智慧数据服务模式,以及如何提升智慧数据服务水平和服务能力已经成为目前图情机构亟需研究的重要问题。本文以数据管理理论、用户场景理论和质性研究理论等为基础,探讨了面向智库需求的智慧数据服务要素、服务模式、模式实现及服务能力评价体系问题。首先,分析并构建了智库的智慧数据服务需求及其模型,结合实际案例对面向智库需求的智慧数据服务要素及其特征进行分析,进而提出了面向智库需求的两类智慧数据服务模式,详细阐述了智慧数据服务模式的实现路径,并构建了面向智库需求的智慧数据服务能力评价体系,最终针对智慧数据服务模式与服务能力评价体系给予相应对策及建议。本文的主要研究内容包括以下6个方面:（1）我国智库的智慧数据服务需求分析。主要通过混合式研究方法分析了智库的数据资源管理现状与问题、智慧数据服务需求以及需求驱动因素。明确了智库的两个主要需求:多源数据服务需求（包括多源数据采集与处理等）、创新发展环境服务需求（包括图情机构职能与服务及技术工具与人才等）。智库的数据需求、场景环境和应用过程的变化,对图情机构的智慧数据服务提出了更高期望与要求。本章为后文分析并提出针对性的面向智库需求的智慧数据服务要素、服务模式、模式实现以及服务能力评价体系奠定了需求基础和研究框架。（2）面向智库需求的智慧数据服务要素及其特征。基于智库需求,通过文献调研、案例分析以及借鉴智慧数据服务相关实践经验,分析了面向智库需求的智慧数据服务关键要素及其特征,阐述各要素在智慧数据服务中的定位和作用。明确了以图情机构、智慧数据、智能化技术方法、智慧化平台、服务环境为5大关键要素,以及服务场景化、技术智能化和数据多源化3大特征。引用生态系统及其相关发展理论构建模型来剖析服务主体、客体、环境间的能量流动及关系,最终以南京师范大学图书馆为例,通过分析其面向智库需求的智慧数据服务过程及其服务要素与特征,验证前文所明确的关键要素,为后文研究奠定要素基础。（3）面向智库需求的智慧数据服务模式。基于智库需求,结合模式构建法提出了面向智库需求的两类智慧数据服务模式:其一,个性化推荐模式,主要探讨图情机构通过感知智库需求,融合多源数据、专家智慧、智能技术及用户需求精准识别等资源与服务,通过智慧数据服务平台与新媒体技术,最终实现场景化、精准化与个性化推送;其二,嵌入式服务模式,主要探讨以图情机构为主体,通过分散、兼职和旋转门等途径嵌入智库内部及其活动过程,将智慧数据服务与智库的数据采集、综合处理、成果传播推广等环节相融合,精准定位智库需求,提供多源数据采集、融合处理、人才支持和影响力塑造等针对性服务。（4）面向智库需求的智慧数据服务模式实现。根据智库需求和图情机构智慧数据服务模式的具体内容与流程,面向智库需求的智慧数据服务模式实现主要包括以下6个方面:智库的特征识别与需求确定;基于Data Commons的智慧数据服务平台构建;多源数据融合;智能化技术与工具融合与协同治理;基于专家系统的多源数据分析与应用;基于向量空间模型的场景化服务推荐,以此来实现面向智库需求的智慧数据服务模式,体现了智慧数据服务的新路径与新思想。（5）面向智库需求的智慧数据服务能力评价体系。以智库需求、智慧数据服务过程和智慧数据服务内容为评价依据,初步构建了包括多源数据、智能化技术与工具、智慧数据服务人员三个维度的智慧数据服务能力评价体系。再利用专家调查法、灰色系统理论和层次分析法完成指标优化和赋权,以验证指标的合理性、有效性和可行性,最终确定智慧数据服务能力评价体系。最终以天津社科院图书馆为案例进行实证研究,论证服务能力评价体系中各指标的有效性、科学性和应用性,以此为图情机构提升智慧数据服务能力与质量提供适当参考。（6）面向智库需求的智慧数据服务保障策略。以智慧数据服务要素、服务模式及服务能力评价为依据,考量涵盖智慧数据服务关键要素、优化智慧数据服务流程、改善智慧数据服务能力评价体系等方面制定保障策略。智慧数据服务保障策略具有明显的层次化特征,涵盖政策保障、数据保障、技术保障与人才保障等层次。其中,政策保障涵盖建立健全相关法律法规等;数据保障涵盖完善多源数据建设、融合、安全与开放保障机制等;技术保障涵盖完备智能化数据管理技术、方法与工具集体系构建等;人才保障涵盖智慧数据服务人才队伍建设等。通过构建面向智库需求的智慧数据服务模式,可以优化智库活动流程,提升智库的课题研究能力、决策支持服务质量和可持续发展动力,还可保障面向智库需求的智慧数据服务质量和水平,也为大数据时代下图情机构智慧数据服务研究体系提供理论启发与借鉴,拓展智慧数据服务的理论与应用范畴,推动智慧数据服务可持续性发展。此外,通过建立面向智库需求的智慧数据服务能力评价体系,可以评价图情机构的智慧数据服务能力,帮助其更清楚的认识优势与缺陷,根据评价体系优化服务流程,更好的服务智库。同时,为图情机构系统认知大数据时代下面向智库需求的智慧数据服务实现路径提供参考,继而有效引导图情机构从智库需求感知到服务模式构建再到服务能力评价的流程化视角来看待面向智库需求的智慧数据服务工作。
吴佳慧[4]（2021）在《机器学习中隐私保护数据计算研究》文中指出随着云计算与分布式计算的发展,数据挖掘和深度学习等机器学习算法已能很好地结合大数据的优势,训练出更加精确的模型。因此,云外包学习和联邦学习成为当下流行的两种大数据机器学习范式。然而,在云外包机器学习和联邦学习过程中,要求数据拥有者提供原始数据或共享局部数据的训练参数,这些信息的提供均存在大数据隐私泄露的风险。例如,从医疗、金融等采集的大数据可能会泄露私人数据,包含个人基本信息、患者病历、经济信息等,一旦被披露,个人的生命财产将受到严重威胁。因此,研究云外包机器学习和联邦学习中隐私保护的大数据计算方法具有重要意义。本论文研究云计算环境下多数据拥有者的联合关联规则挖掘和分布式多客户端环境下的联邦深度学习中的隐私安全计算问题。论文分析现有的各类攻击方法,设计出安全数据加密算法。针对联合关联规则挖掘和联邦学习的各自特征,设计出各自特定的适用于加密数据的隐私保护数据计算方案。两种机器学习方法中,客户端提交给云服务器的原始数据均为加密数据,云服务器对加密数据进行计算,并返回加密形式的预测结果给客户端。论文证明了所提出的机器学习模型的适用性并评估了它们的性能。实验结果表明,论文中提出的方案能够提供准确的隐私保护关联规则挖掘和深度学习分类。本论文的主要研究成果是:（1）设计了数据库模糊方法,以保证数据挖掘效率。为了确保数据挖掘和深度学习的精度,论文的隐私保护计算均在密文数据上进行。考虑联合数据库的数据量非常庞大,无论是对数据的加密还是对加密数据的计算,所需的算力和存储消耗均会很大。因此,论文中并不是直接对数据集进行加密,而是设计一种数据库模糊方法,即在数据库中插入虚假交易以混淆敌手,从而保证数据库的隐私安全性;同时,为了保证数据集的可用性（可进行数据挖掘计算）,需给每条交易标记一个标签,真实交易的标签为1,虚假交易的标签为0。这样,数据挖掘结果由插入虚拟交易后的数据库挖掘的结果和标签共同决定。（2）设计了多密钥同态加密机制,以防止在数据挖掘与深度学习过程中,多联合方的窜某攻击。具体地,论文设计了一种多方协商的秘钥划分方法,并基于该方法设计出两种同态加密算法:采用指数乘的对称同态加密算法和基于椭圆曲线的加法同态加密算法。论文利用指数乘的对称同态加密算法加密待挖掘数据库的标签,并设计出用于数据挖掘的安全比较算法,使得多方联合挖掘能够顺利进行。论文基于椭圆曲线加同态加密设计隐私保护机制,用以掩盖每个客户端的局部梯度,使恶意敌手和半可信云难以推理数据集原始信息。所提出的隐私保护机制在保持训练模型高预测精度的同时,很好地平衡了安全性和效率。（3）设计了一种数据同态验证机制,以防止联邦学习中的全局参数被恶意敌手/云服务器篡改。该机制允许各分布式客户端验证从云服务器端获取的聚合密文是否为所有联合客户端的局部数据密文的融合。因此设计的同态验证方法需要能对同态计算进行验证。具体地,论文设计基于椭圆曲线的同态hash函数,该函数能将任意长度的输入数据转换为固定长度的输出摘要,且该函数满足同态属性,即对输入数据的计算操作可直接转移到对摘要的计算操作;同时,由于hash函数的抗碰撞性,敌手不能根据摘要猜测出原始函数输入,也不能在无密钥情况下同时篡改输入与摘要。因此,基于设计的椭圆曲线的同态hash函数构建的验证机制可以用来验证来自敌手/云服务器的全局参数（即聚合梯度）是否正确。（4）设计了一种快速同步随机梯度下降（F-SSGD）方法,以保证联邦学习的在多客户端异质情况下,模型的快速训练和训练收敛。该方法可保证当联邦学习中的各客户端算力存在差异或客户端数据分布不一致时,联邦学习模型能快速收敛。具体地,在F-SSGD中,设置了一个时间周期,在此期间,算力较强的客户端可以继续计算多个本地梯度,而无需等待速度较弱的客户端;而算力较弱的客户端加权他们的多个梯度副本,以确保训练收敛,并防止最终模型偏向执行计算最快的客户端。在达到设定的时间周期之后,所有的客户端都将它们的本地聚合梯度提交到云上进行模型更新。实验和理论证明了F-SSGD方法可保证联邦模型的收敛,且收敛速度为O（1/M）,其中M为迭代次数。
陈尚宇[5]（2021）在《飞机制造企业生产管控中心设计与实现》文中进行了进一步梳理本课题旨在面向企业管控的具体问题和需求,建立可视化生产管控模型及信息化支撑平台,逐步打开生产过程的“黑箱”,依靠可视化管控模型,将计划、执行、考核等管控要点进行串联,采集业务数据并进行数据挖掘分析,形成可供各级生产管控人员决策、执行的标准信息呈报与传递模型。本文以公司生产管控业务实际需求为背景,按照精细化、可视化、敏捷化、自动化等管控要求,从生产计划、生产进展、物料保障、设备保障、人力保障、现场问题、质量监控等多方面进行业务建模,为不同层级不同角色定位的管控人员设计了管控场景;在管控场景基础上,针对项目、专业、进展、物流、资源、问题等不同维度的主题数据在数据整合、数据钻取、数据多维分析等方面进行了研究,建立了数据分析模型;基于数据分析模型,利用数据仓库、数据挖掘、大数据分析等相关技术,并结合相应的数据分析算法,实现了数据的整合、分析与利用;最后结合二维图表、三维动画等多种展示方式进行了可视化展示。本文从整体上为相关生产项目可视化管控模式的建立提供了完整解决思路与实现办法,较大的提升了企业生产管理过程可视化、透明化、高效化、提升生产管控能力。
卢煌煌[6]（2021）在《基于大数据聚类挖掘的铁路工程地质条件评价模型研究》文中研究指明川藏铁路是我国“十三五”规划中非常重要的建设项目,它的建设受到各族同胞的广泛关注。在铁路工程的设计选线、建设施工以及运营阶段都需要对铁路工程沿线地质条件进行勘察、分析并评价,以确保工程安全。开展基于大数据聚类挖掘的铁路工程地质条件评价对提高评价结果高效性、客观性和全面性具有重要的促进作用。铁路工程地质条件传统的评价方式存在主观性强、评价效率不高以及评价结果不直观等缺点。针对以上局限,本文提出一种以地质灾害风险性为依据的铁路工程地质条件评价体系,使用相关地质灾害影响因素进行大数据挖掘建立评价模型,并进行大数据可视化展示,具体工作如下:1.使用爬虫、Http Request等数据采集技术,对地质灾害风险影响因素数据进行采集,并进行数据预处理。同时研究并设计搭建基于Hadoop+Spark框架的大数据处理平台,提供高效的数据存取性能,并为大数据分析与挖掘提供高效计算性能。实现了多源异构大数据的高效准确自动化采集、预处理、存储以及计算。2.以地质灾害风险为依据,对铁路工程地质条件进行大数据分析,分析铁路工程地质条件与各影响因素之间的相关性,为后续的大数据挖掘提供理论支持。3.研究并实现基于随机森林的特征属性选择方法,使用随机森林算法对原始训练集进行分类模型的建立。将分类模型最优化,并输出各特征属性权重值,结合权重值以及大数据分析得出的结论,完成对铁路工程地质条件评价模型训练集特征属性的选择。4.提出了差异度权值密度的概念,并将其引入到K-means聚类挖掘算法的初始聚类中心选择之中,提出了改进算法——MDDK-means。该算法克服了K-means算法初始聚类中心选择的随机性,提高了聚类的准确性以及执行的效率。使用改进算法与传统K-means算法以及基于密度的K-means算法进行对比实验,结果证明本文提出的改进算法具有更高的聚类准确性以及执行效率。5.提出了基于MDDK-means算法的铁路工程地质条件评价模型。该模型以铁路沿线区域的地质灾害风险影响因素数据进行区域地质灾害风险性评估,以此为依据对该区域的铁路工程质条件进行评价,并将该模型于川藏铁路进行应用实现。
胡彦丞[7]（2021）在《基于Spark分布式集群环境的电力负荷预测系统的设计与实现》文中研究指明随着大数据、智能电网的建设与相关技术的发展,电力大数据已广泛应用于现代电力体系领域,面对电力公司数量及维度均较大的数据集,如何充分挖掘其价值,成为了电力生产工作人员广泛关心的问题。通过对SCADA系统、EMS系统中数据进行挖掘和清洗,基于Hadoop分布式文件系统及Spark框架,对数据进行挖掘和分析,设计并开发基于Spark分布式集群环境的电力负荷预测系统,以实现以下目的:1、针对复杂、多样、海量的电力运行设备工况数据的特点,提出了使用“正则表达式”选择关键字段加“MapReduce”处理文本的方法,筛选并规划监控告警信息数据,以求实现多源异构数据的规律化,从而对设备工况的判断提供决策和帮助。2、针对调度运行工作中综合管理部分的工作重点——电力负荷预测展开研究,提出了基于Hadoop分布式文件系统的内嵌Spark平台和并行随机森林回归算法（spark random forest regression,SP-RFR）的短期电力负荷预测方法,并通过三次RDD（resilient distributed datasets,RDD）数据集转换实现单机随机森林算法的并行化改进,将其部署在Spark分布式集群环境上。该系统结合眉山电网实际情况进行设计实验,并进行了系统的模块设计、编程实现及测试验证等环节。通过验证得出:对于电网监控运行专业遥测越限、遥信变位及保护告警等信号,电力设备运行工况分析功能可以针对同批类信号进行筛选、排列和记次,并通过人机友好的交互界面展示,辅助监控值班员对设备工况进行监视。通过对比相似的数据量进行采样,并行随机森林回归算法的预测精度显着高于传统的单机模式负荷预测算法;同时随机森林短期电力负荷预测算法受离群数据的干扰较小,并且会因电力数据量的增大,表现出更加良好的鲁棒性;同时,随机森林短期电力负荷预测算法在运行效率上也会随着电力数据量的增大表现出更为明显的优势。
闫俊[8]（2020）在《自治区互联网舆情监测平台的设计与实现》文中进行了进一步梳理在互联网时代,人人都是自媒体,大家畅所欲言,在互联网上发表着自己的所见所闻和看法,同时也对他人的观点发表自己的评论,无论是正面的还是负面的信息,都会借助互联网广泛传播,形成舆论。当前,为尽可能的全面获取互联网舆情,自治区互联网信息内容监管部门采用广而多的监管模式,通过采购多个互联网舆情监测服务,对不同类型的信息,如国内外新闻、两微一端、论坛、贴吧、移动客户端等信息进行获取,然后再经过人工分析研判,处置十分重要的、易引起社会强烈反响的舆情信息。该种监管模式的优势在于获取信息比较全面,但严重受制于各系统抓取网络舆情信息的能力。同时,由于监管部门的工作人员需要在多个系统中获取、分析、人工关联互联网舆情信息,导致工作效率低、工作强度大,无法满足对网络舆情的时效性和准确性要求,严重影响互联网监管部门的工作效率,大大降低舆情信息对地方党委、政府及相关部门的决策支持作用。针对以上问题,本文从对互联网舆情精准、高效监测的实际需求出发,结合自治区自身工作特点,以建立统一、高效、切合实际业务需求的互联网舆情监测平台为研究重点,在构建标准统一、业务规范的模型基础上,深入研究多源数据融合（Multisource Data Fusion）,实现规范数据接入,共享核心数据库;优化舆情信息预处理机制,提高舆情信息发现效率,共同支撑平台实现对互联网海量信息的精准获取,为监管部门提供全面而有价值的舆情信息。平台从互联网信息的抓取,到舆情的分析、研判和处置,提供了统一的工作流程,解决了监管部门最实际的工作需求。本文主要研究工作包括以下几个方面:（1）通过对自治区原有网络舆情监测相关系统的研究,结合国家互联网内容监管的相关法规政策及业务部门的工作实际,进行平台功能需求分析,总结出平台建设急需解决的问题。（2）完成了舆情监测平台的网络结构和逻辑架构设计,并对平台两个主要功能模块（数据融合和舆情监测）进行重点设计,并完成部分实现工作,保障平台达到了实现多源数据查看、舆情信息实时采集、综合分析研判精准的效果。（3）对互联网舆情监测平台进行了功能验证和性能验证。验证平台的基础功能和业务流程的准确性、易用性、可靠性,设计测试用例对平台的舆情发现力、异构数据融合功能进行测试。通过Load Runner对系统的并发性能进行测试,验证平台数据融合、清洗处理性能,验证测试结果与设计指标的一致性。平台上线以后,大大提升了监管部门的舆情信息采集发现能力,信息获取渠道更加宽泛,监测内容更加广泛,实现了对属地相关信息的全面监看,构建更加高效的监看平台,实现对舆情的监看、梳理、分析、引导功能,可以在30分钟内实现对一般网站舆情信息发现,达到政府部门对互联网内容监管的目的。平台自2017年底投入使用以来,取得了良好的实际应用效果。
于海[9]（2021）在《基于社交网络热点事件库的流行度预测研究》文中研究说明社交网络信息流行度是热点事件受关注程度的量化指标。广大网络用户通过在线社交网络发布和转发信息,表达对社会热点事件的立场和态度,推动了信息的传播和流行。流行度能够反映网络舆情发生、发展状态。网络舆情能够影响广大网络用户的思想和行为,并可能引发公共安全事件。在社交网络分析需求快速发展的今天,研究流行度预测方法有助于提高网络舆情预测能力,对于实现良好的社会舆论氛围和保障社会公共安全具有重大的现实意义。然而,现有的流行度预测方法距离能够在舆情治理中得到应用还面临着一些挑战,其中既包括庞杂的社交网络大数据为上层流行度分析应用带来的数据表示与组织难题,又包括现有流行度演化预测研究对社交网络特有的演化规律和影响因素考虑不足带来的局限性。本文围绕“面向流行度演化预测的社交网络大数据表示与组织问题”、“流行度演化高峰期预测问题”和“多因素指标的流行度预测问题”三个关键问题,从面向流行度分析与预测的社交网络热点事件库模型、基于社交网络主题标签的流行度高峰期预测、基于社交网络事件库多因素耦合的流行度预测和流行度分析预测平台实现及应用四个方面开展了研究,主要工作和贡献如下:首先,针对利用海量、庞杂的在线社交网络大数据分析和预测信息的流行度演化态势中的数据表达与组织问题,构建了社交网络热点事件库模型。分析了社交网络大数据的多维性,建立了数据模型,包括定义的实体与属性、数据约束和约束检查及查询等组成部分。在此基础上,设计了基于社交网络热点事件库的时间序列提取方法。实验表明,社交网络热点事件库模型中的数据约束检查方法性能良好,所提出的基于热点事件库的时间序列提取方法与人工提取方法相比在准确率和召回率等方面有更好的表现,并且通过启用约束检查方法能够进一步提高表现。其次,针对基于历史流行度指标的信息流行度演化分析与预测问题,基于真实在线社交网络数据分析了流行度的演化规律,提出了一种流行度演化的高峰期预测方法。通过Twitter数据集的实证研究,发现自演化开始以来,流行度通常在其演化的早期达到顶峰。在此基础上,提出流行度高峰期预测方法,综合利用了三种类型的数据资源,通过采用LSTM和DeepWalk等嵌入算法进行多维矩阵转换,应用平均池层进行特征表示,学习内部注意力和相互注意力,最后输入到神经网络非线性层形成最终输出,预测了流行度演化的高峰时间。实验表明,本文所设计的方法中的绝对误差中值比NAM、SVR、SpikeM、BLR等基线方法要低。这不仅证明了通过多模态深度学习方法来学习高级特征的有效性,也证明了本文所设计的预测方法具有更优的预测效果。再次,针对基于多因素指标的流行度演化分析与预测的问题,利用事件库获取多因素指标,提出了一种基于事件库多因素耦合的流行度预测方法。通过利用事件库对于社交网络数据的统一存储,从多源异构数据中提取各因素指标。在此基础上,提出了一种分组嵌入的方法。基于深度学习的嵌入方法为时间序列数据的降维与融合提供了可能。根据因素的物理意义与特征将因素分组为累积性因素和固有性因素。然后分别采用不同的神经网络进行嵌入得到这些因素指标的地位表示,并在此基础上提出了预测方法。本研究所提出的方法在因素选取、因素抽象化定义、因素分组、因素指标数据获取和指标数据综合利用等方面实现了创新设计。实验表明,与已有的深层神经网络模型、支持向量回归机、SH流行度预测模型等相比,本研究所提出的预测方法相比现有模型在预测准确度上具有明显的优越性。最后,设计并实现了流行度分析预测平台。利用本文提出的模型和方法,实现了事件流行度分析预测功能。案例验证了本文的研究成果,取得了良好的应用效果。
吴桐[10]（2020）在《老旧房屋健康智能监测云平台系统研究》文中研究表明近年来我国老旧房屋安全问题日益凸显,随着国家智能传感器、物联网、云计算技术等新技术的日益成熟,面对智能化、主动式、实时高效的老旧房屋健康监测新要求,以及海量异构监测数据信息的计算、存储和可视化管理的新挑战,基于物联网和云计算技术融合的老旧房屋健康智能监测己经成为发展趋势,未来将助力智慧城市的建设。首先,本文通过分析我国房屋安全检测评定的现状,总结目前老旧房屋综合治理的难题,研究物联网通用架构和系统设计原则,并借鉴其在各应用领域的相关经验,提出了老旧房屋健康智能监测系统的总体架构,并通过研究云计算技术的主要特征,分析大数据处理策略与云计算任务部署,探索物联网监测系统上云。接着,通过在浙江省、广东多县市对老旧房屋安全现状进行实地调研,梳理总结了我国目前老旧房屋的主要破坏特点和损伤诱因,以此对智能监测物联网系统各功能子层进行设计。针对老旧房屋主体结构存在的倾斜、沉降、裂缝问题,设计了基于物联网的老旧房屋传感器监测系统,实现监测数据自动化采集与低功耗、实时传输,以及低成本、实时动态的老旧房屋健康智能监测的新要求。面对老旧房屋存在的各种损伤老化、安全隐患、人为使用不当等问题,并对比了传统人工巡视排查方式的局限性,设计了工业级智能机和巡检APP软件任务驱动式的老旧房屋智能巡检APP系统,实现无纸化、高效、便捷、全面的房屋安全智能巡检,并利用无线传输网络和百度地图定位功能,满足巡检任务与信息的实时更新和巡检工作开展地有效监督要求。然后,分析老旧房屋传感器监测系统与智能巡检APP系统在功能和监测效果上的互补互促,实现有机融合并上云,借鉴阿里云中的关键技术,实现老旧房屋健康智能监测系统的云平台部署,让监测机构更好地解决海量异构监测数据信息的分析、处理、存储等难题。并设计了基于云上批量计算应用模块的监测数据后处理工作流程。借助python软件工具对倾斜等实时监测历史数据进行预处理和时间序列分析预测后处理,提高了监测数据的利用价值,实现了智能监测系统中海量监测数据信息的云上自动化处理,有助于提升老旧房屋监测和预警效果。最后,为浙江省多市县政府房管部门搭建监控中心,初步实现老旧房屋健康智能监测云平台系统的可视化管理和应用,结合三级预警和预警响应方案等措施,很好地提升了政府对城市老旧房屋安全监管和治理能力,保障了城镇居民人身财产的安全。
二、关于分布式、异构、历史遗留数据的数据挖掘研究（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、关于分布式、异构、历史遗留数据的数据挖掘研究（论文提纲范文）
（1）基于大数据的大学生日常思想政治教育创新研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 绪论 大数据让大学生日常思想政治教育智能化 |
| 第一节 选题缘由及研究意义 |
| 一、选题缘由 |
| 二、研究意义 |
| 第二节 国内外研究综述 |
| 一、国内研究现状 |
| 二、国外大数据与教育交叉研究综述 |
| 三、研究评析 |
| 第三节 逻辑结构 |
| 一、研究思路 |
| 二、研究方法 |
| 三、内容框架 |
| 第四节 重点、难点及预期创新点 |
| 一、研究重点 |
| 二、研究难点 |
| 三、研究创新点 |
| 第一章 基于大数据创新大学生日常思想政治教育的理论基础 |
| 第一节 核心概念解读 |
| 一、大数据 |
| 二、大学生日常思想政治教育 |
| 三、大学生日常思想政治教育大数据 |
| 第二节 大学生日常思想政治教育大数据之马克思主义哲学审视 |
| 一、感性对象性活动之数据生成逻辑 |
| 二、实践的社会历史性之数据发展动因 |
| 三、辩证唯物主义认识论之数据应用的方法论基础 |
| 四、人的全面自由发展之数据应用的价值取向 |
| 第三节 大学生日常思想政治教育大数据自组织系统阐释 |
| 一、大学生日常思想政治教育之复杂自组织系统特征 |
| 二、大学生日常思想政治教育大数据之数据转化 |
| 三、大学生日常思想政治教育大数据之数据转换 |
| 四、大学生日常思想政治教育之数据工作机制 |
| 第二章 基于大数据创新大学生日常思想政治教育的现实依据 |
| 第一节 大学生日常思想政治教育存在的现实困境 |
| 一、基于大数据文本挖掘方法的大学生日常思想政治教育现实困境分析 |
| 二、大学生日常思想政治教育者访谈 |
| 三、大学生日常思想政治教育存在的问题及原因剖析 |
| 第二节 新时代大学生日常思想政治教育新要求 |
| 一、新时代大学生日常思想政治教育面临的新课题 |
| 二、新时代大学生日常思想政治教育指导思想与原则 |
| 三、新时代大学生日常思想政治教育教育内容体系 |
| 四、新时代大学生日常思想政治教育的主体转型 |
| 第三节 基于大数据创新大学生日常思想政治教育技术优势 |
| 一、大数据关键技术之大学生日常思想政治教育应用 |
| 二、教育主体与教育客体的数据交互 |
| 三、教育管理平台载体的数据智能 |
| 四、教育管理实践数据的跨域应用 |
| 第四节 基于大数据创新大学生日常思想政治教育可能性分析 |
| 一、基于数据技术的效率提升 |
| 二、基于证据的日常教育管理 |
| 三、基于数据评价的工作改进 |
| 第三章 基于大数据促进大学生日常思想政治教育发展转向 |
| 第一节 大学生日常思想政治教育大数据应用呈现 |
| 一、精准画像:大数据精确反映学生行为状态 |
| 二、规律探寻:大数据有效呈现学生活动规律 |
| 三、超前感知:大数据准确研判学生活动趋向 |
| 第二节 基于大数据之由线性思维向系统思维转变 |
| 一、线性思维 |
| 二、系统思维 |
| 三、线性思维向系统思维转变的全面性与准确性 |
| 第三节 基于大数据之由普适教育向个性化培育转变 |
| 一、普适教育 |
| 二、个性化培育 |
| 三、普适教育向个性化培育转变的适应性与有效性 |
| 第四节 基于大数据之由认知培育向实践养成转变 |
| 一、认知培育 |
| 二、实践养成 |
| 三、认知培育向实践养成转变的实效性与长效性 |
| 第五节 基于大数据之由需求侧适应向供给侧发力转变 |
| 一、需求侧适应 |
| 二、供给侧发力 |
| 三、需求侧适应向供给侧发力转变的精准性与有效性 |
| 第四章 基于大数据创新大学生日常思想政治教育的实施路径 |
| 第一节 基于大数据创新大学生日常思想政治教育的原则 |
| 一、以人为本原则 |
| 二、守正创新原则 |
| 三、趋利避害原则 |
| 四、循序渐进原则 |
| 五、理论与实践相结合原则 |
| 第二节 大学生日常思想政治教育大数据资源库建设与运行 |
| 一、大学生日常思想政治教育大数据采集 |
| 二、大学生日常思想政治教育大数据预处理与存储 |
| 三、大学生日常思想政治教育大数据挖掘与建模分析 |
| 四、大学生日常思想政治教育大数据可视化与应用 |
| 五、大学生日常思想政治教育大数据解释与反馈 |
| 第三节 利用大数据推进大学生日常思想政治教育实践应用 |
| 一、数据画像 |
| 二、精准资助 |
| 三、异常告警 |
| 第五章 基于大数据创新大学生日常思想政治教育的条件保障 |
| 第一节 个体主观条件 |
| 一、培育大数据意识与大数据思维 |
| 二、掌握大数据知识与大数据技能 |
| 三、提升大数据伦理与管理理性 |
| 四、把握大数据应用的价值导向 |
| 第二节 技术条件保障 |
| 一、开发和搭建高校思想政治教育大数据技术平台 |
| 二、培育大学生思想政治教育大数据核心技术团队 |
| 第三节 组织与制度保障 |
| 一、加强组织领导 |
| 二、推进教育政策实施与制度建设 |
| 三、加强体制机制建设 |
| 第四节 文化环境保障 |
| 一、优化校园网络环境 |
| 二、培育校园数据文化 |
| 三、优化校园人文环境 |
| 结语:数据智能与教育智慧结合 |
| 参考文献 |
| 致谢 |
| 攻读博士学位期间主要研究成果 |
（2）河北财税信息管理系统的设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 国内研究现状 |
| 1.2.2 国外研究现状 |
| 1.3 论文内容与目标 |
| 1.4 论文结构 |
| 第2章 需求分析 |
| 2.1 系统需求分析 |
| 2.1.1 数据采集管理需求分析 |
| 2.1.2 数据处理需求分析 |
| 2.1.3 数据治理需求分析 |
| 2.1.4 税收预警管理分析 |
| 2.1.5 数据共享需求分析 |
| 2.2 非功能性需求分析 |
| 2.3 本章小结 |
| 第3章 系统设计 |
| 3.1 系统架构设计 |
| 3.1.1 总体架构设计 |
| 3.1.2 技术架构设计 |
| 3.1.3 总体流程设计 |
| 3.1.4 网络拓扑结构设计 |
| 3.1.5 功能结构设计 |
| 3.2 系统功能总体设计 |
| 3.2.1 数据采集管理设计 |
| 3.2.2 数据处理设计 |
| 3.2.3 数据治理设计 |
| 3.2.4 税收预警管理设计 |
| 3.2.5 数据共享设计 |
| 3.3 数据库表结构设计 |
| 3.3.1 数据采集表 |
| 3.3.2 数据分析表 |
| 3.3.3 数据仓库表 |
| 3.3.4 监控管理表 |
| 3.3.5 服务管理表 |
| 3.3.6 日志管理表 |
| 3.4 本章小结 |
| 第4章 系统实现 |
| 4.1 系统功能实现 |
| 4.1.1 数据采集模块实现 |
| 4.1.2 数据处理模块实现 |
| 4.1.3 数据治理模块实现 |
| 4.1.4 数据共享模块实现 |
| 4.1.5 税收预警管理模块实现 |
| 4.2 本章小结 |
| 第5章 系统测试 |
| 5.1 测试概述 |
| 5.2 测试通过标准 |
| 5.3 测试策略 |
| 5.3.1 测试设计 |
| 5.3.2 测试控制 |
| 5.4 缺陷严重度描述 |
| 5.5 压力测试 |
| 5.6 本章小结 |
| 结论 |
| 参考文献 |
| 致谢 |
（3）面向智库需求的智慧数据服务模式及服务能力评价研究（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 研究背景与目的意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究目的 |
| 1.1.3 研究意义 |
| 1.2 国内外相关研究综述 |
| 1.2.1 图情机构智慧化资源管理与服务转型 |
| 1.2.2 图情机构智慧数据服务模式与服务体系 |
| 1.2.3 智慧数据服务能力及其评价 |
| 1.2.4 评述与分析 |
| 1.3 研究内容 |
| 1.4 研究方法和技术路线 |
| 1.4.1 研究方法 |
| 1.4.2 技术路线 |
| 1.5 创新点 |
| 第2章 相关概念与理论基础 |
| 2.1 相关概念 |
| 2.1.1 智库 |
| 2.1.2 智慧服务 |
| 2.1.3 智慧数据服务 |
| 2.1.4 面向智库需求的智慧数据服务 |
| 2.2 理论基础 |
| 2.2.1 数据管理理论 |
| 2.2.2 扎根理论 |
| 2.2.3 用户场景理论 |
| 2.2.4 灰色系统理论 |
| 第3章 我国智库的智慧数据服务需求分析 |
| 3.1 基于问卷调查的智库数据资源管理分析 |
| 3.1.1 调查问卷设计 |
| 3.1.2 调查对象与数据收集 |
| 3.1.3 结果分析 |
| 3.2 基于扎根理论的智库服务需求分析 |
| 3.2.1 研究对象与数据收集 |
| 3.2.2 范畴编码与检验 |
| 3.2.3 模型构建及分析 |
| 3.3 本章小结 |
| 第4章 面向智库需求的智慧数据服务要素与特征 |
| 4.1 面向智库需求的智慧数据服务过程 |
| 4.1.1 智库活动过程分析 |
| 4.1.2 面向智库需求的智慧数据服务过程分析 |
| 4.2 面向智库需求的智慧数据服务要素 |
| 4.2.1 图情机构主体 |
| 4.2.2 智慧数据 |
| 4.2.3 智慧化技术工具与方法 |
| 4.2.4 智慧数据服务平台 |
| 4.2.5 智慧数据服务环境 |
| 4.2.6 智慧数据服务要素之间关系 |
| 4.3 面向智库需求的智慧数据服务特征 |
| 4.3.1 数据多源性 |
| 4.3.2 技术智能性 |
| 4.3.3 服务场景化 |
| 4.4 案例分析 |
| 4.4.1 南京师范大学图书馆发展现状 |
| 4.4.2 南师大图书馆智慧数据服务分析 |
| 4.5 本章小结 |
| 第5章 面向智库需求的智慧数据服务模式 |
| 5.1 面向智库需求的智慧数据服务模式概念和类型 |
| 5.1.1 面向智库需求的智慧数据服务模式的概念 |
| 5.1.2 面向智库需求的智慧数据服务模式的类型 |
| 5.2 面向智库需求的个性化推荐智慧数据服务模式 |
| 5.2.1 智库活动过程分析 |
| 5.2.2 智库需求感知 |
| 5.2.3 资源融合及服务集成 |
| 5.2.4 智能化推荐 |
| 5.2.5 案例分析 |
| 5.3 面向智库需求的嵌入式智慧数据服务模式 |
| 5.3.1 智库活动层 |
| 5.3.2 嵌入层 |
| 5.3.3 融合层 |
| 5.3.4 服务层 |
| 5.3.5 案例分析 |
| 5.4 本章小结 |
| 第6章 面向智库需求的智慧数据服务模式实现 |
| 6.1 智库特征识别与需求确定 |
| 6.1.1 智库特征识别 |
| 6.1.2 智库需求确定 |
| 6.2 基于Data Commons的智慧数据服务平台构建 |
| 6.2.1 Data Commons平台的概念和特点 |
| 6.2.2 Data Commons平台的目标与功能 |
| 6.2.3 Data Commons平台的架构设计 |
| 6.3 多源数据融合 |
| 6.3.1 多源数据融合架构 |
| 6.3.2 多源数据融合方法 |
| 6.4 智能化技术融合与协同治理 |
| 6.4.1 智能化技术融合与协同治理模式 |
| 6.4.2 基于协同治理的智能化技术融合过程 |
| 6.5 基于专家系统的智能情报分析 |
| 6.5.1 专家数据管理模块 |
| 6.5.2 专家在线咨询模块 |
| 6.5.3 专家智能推荐流程 |
| 6.6 基于向量空间模型的场景化服务推荐模型 |
| 6.6.1 场景化服务 |
| 6.6.2 场景化服务接受效用 |
| 6.6.3 场景化服务推荐模型 |
| 6.6.4 场景化服务推荐实验 |
| 6.7 本章小结 |
| 第7章 面向智库需求的智慧数据服务能力评价体系 |
| 7.1 智慧数据服务能力评价体系问题的提出 |
| 7.2 智慧数据服务能力评价体系的构建依据 |
| 7.3 智慧数据服务能力评价指标的选取与修正 |
| 7.4 智慧数据服务能力评价指标的阐释 |
| 7.5 智慧数据服务能力评价指标的优化与赋权 |
| 7.5.1 样本选择及问卷描述 |
| 7.5.2 评价指标的重要性和易获得性计算 |
| 7.5.3 评价指标优化 |
| 7.5.4 评价指标赋权 |
| 7.6 实证研究 |
| 7.6.1 研究方法 |
| 7.6.2 数据分析 |
| 7.6.3 结果分析 |
| 7.7 本章小结 |
| 第8章 面向智库需求的智慧数据服务保障策略 |
| 8.1 政府政策保障方面 |
| 8.2 图书情报机构服务主体保障方面 |
| 8.2.1 强化服务意识并挖掘智库需求 |
| 8.2.2 优化图情机构的智慧数据服务架构 |
| 8.2.3 建立并完善智慧数据服务能力评价体系 |
| 8.3 多源数据保障方面 |
| 8.3.1 加强智慧数据体系建设 |
| 8.3.2 建立一体化多源数据联动与反馈机制 |
| 8.4 智能化技术方法与工具保障方面 |
| 8.4.1 加强现代化数据技术的融合和应用 |
| 8.4.2 完善智慧数据服务平台功能和服务 |
| 8.5 智慧数据服务人才保障方面 |
| 8.5.1 完善我国图情机构学科馆员制度 |
| 8.5.2 提升智慧数据服务人员的创新服务能力 |
| 8.6 本章小结 |
| 第9章 研究结论与展望 |
| 9.1 研究结论 |
| 9.2 研究局限与展望 |
| 9.2.1 研究局限 |
| 9.2.2 研究展望 |
| 参考文献 |
| 附录 |
| 研究成果 |
| 致谢 |
（4）机器学习中隐私保护数据计算研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 隐私保护数据挖掘研究现状 |
| 1.2.2 隐私保护深度学习研究现状 |
| 1.2.3 分布式优化方法研究现状 |
| 1.3 论文的主要工作及结构 |
| 第二章 相关问题与安全计算基本概念介绍 |
| 2.1 简写符号说明 |
| 2.2 相关机器学习方法介绍 |
| 2.2.1 频繁项集挖掘与关联规则挖掘 |
| 2.2.2 神经网络和深度学习 |
| 2.3 数据安全技术介绍 |
| 2.3.1 同态加密 |
| 2.3.2 数据验证 |
| 2.4 本章小结 |
| 第三章 云外包环境下的隐私保护关联规则挖掘研究 |
| 3.1 引言 |
| 3.2 问题定义 |
| 3.2.1 系统模型 |
| 3.2.2 威胁模型 |
| 3.2.3 设计目标 |
| 3.3 相关知识介绍 |
| 3.3.1 水平与垂直分区数据库 |
| 3.3.2 虚拟交易 |
| 3.4 子算法设计 |
| 3.4.1 对称同态加密算法 |
| 3.4.2 安全比较算法 |
| 3.4.3 HE参数范围限定 |
| 3.4.4 虚拟交易插入算法 |
| 3.5 SecEDMO方案设计 |
| 3.5.1 SecEDMO方案概览 |
| 3.5.2 隐私保护关联规则挖掘 |
| 3.6 正确性分析 |
| 3.7 安全性分析 |
| 3.7.1 对称HE算法的密钥安全性 |
| 3.7.2 安全抗攻击 |
| 3.8 性能评估 |
| 3.8.1 插入交易的随机性 |
| 3.8.2 SecEDMO的计算复杂度 |
| 3.8.3 SecEDMO的存储容耗 |
| 3.8.4 SecEDMO的通信复杂度 |
| 3.8.5 不同模型的复杂度比较 |
| 3.8.6 端到端时延 |
| 3.9 相关工作 |
| 3.9.1 基于查询限制的隐私保护挖掘 |
| 3.9.2 基于数据干扰的隐私保护挖掘 |
| 3.9.3 基于数据加密的隐私保护挖掘 |
| 3.10 扩展工作——安全数据聚合 |
| 3.11 本章小结 |
| 第四章 联邦深度学习中分布式训练方法研究 |
| 4.1 引言 |
| 4.2 问题定义 |
| 4.2.1 联邦学习系统 |
| 4.2.2 设计目标 |
| 4.3 相关知识介绍 |
| 4.3.1 随机梯度下降 |
| 4.3.2 ASGD与 SSGD |
| 4.4 F-SSGD算法设计 |
| 4.5 收敛性分析 |
| 4.6 实验性能评估 |
| 4.6.1 实验设置 |
| 4.6.2 实验结果 |
| 4.7 本章小结 |
| 第五章 快速、安全、可验证的联邦深度学习研究 |
| 5.1 引言 |
| 5.2 问题定义 |
| 5.2.1 系统模型 |
| 5.2.2 攻击模型 |
| 5.2.3 设计目标 |
| 5.3 相关知识介绍 |
| 5.3.1 椭圆曲线密码 |
| 5.3.2 密码学hash函数 |
| 5.4 子算法设计 |
| 5.4.1 密钥生成算法 |
| 5.4.2 隐私保护机制 |
| 5.4.3 验证机制 |
| 5.5 FSV-FDL模型设计 |
| 5.6 安全性分析 |
| 5.6.1 EC-AHE的安全性 |
| 5.6.2 部分数据加密的安全性 |
| 5.6.3 云与客户端合谋攻击 |
| 5.7 验证性分析 |
| 5.7.1 正确性 |
| 5.7.2 可靠性 |
| 5.8 实验性能评估 |
| 5.8.1 模型精度 |
| 5.8.2 客户端运行时 |
| 5.9 本章小结 |
| 第六章 总结与展望 |
| 6.1 本论文的主要工作 |
| 6.2 下一步的工作思路 |
| 参考文献 |
| 致谢 |
| 攻读博士期间已发表的论文 |
| 攻读博士期间参加的科研项目 |
（5）飞机制造企业生产管控中心设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.3 本论文研究内容和结构安排 |
| 1.4 本章小结 |
| 第二章 相关技术及理论基础 |
| 2.1 Hadoop体系 |
| 2.2 数据分析算法 |
| 2.3 集成管理 |
| 2.4 可视化管理 |
| 2.5 本章小结 |
| 第三章 飞机制造企业生产管控中心需求分析 |
| 3.1 多维度管控 |
| 3.1.1 可视化管控 |
| 3.1.2 精细化管控 |
| 3.1.3 自动化管控 |
| 3.1.4 敏捷化管控 |
| 3.1.5 多级用户管控 |
| 3.2 全域生产管控指标体系 |
| 3.3 多源异构系统的数据集成 |
| 3.4 可视化展示 |
| 3.5 非功能需求 |
| 3.5.1 性能需求 |
| 3.5.2 可靠性需求 |
| 3.5.3 安全性需求 |
| 3.5.4 易用性需求 |
| 3.6 开发及运行环境需求 |
| 3.6.1 系统网络环境 |
| 3.6.2 压力分析 |
| 3.7 本章小结 |
| 第四章 飞机制造企业生产管控中心设计 |
| 4.1 总体设计目标和原则 |
| 4.1.1 设计目标 |
| 4.1.2 设计原则 |
| 4.2 总体架构设计 |
| 4.2.1 逻辑架构 |
| 4.2.2 功能架构 |
| 4.2.3 技术架构 |
| 4.3 管控维度设计 |
| 4.4 管控模型设计 |
| 4.4.1 标准工时模型 |
| 4.4.2 设备监控模型 |
| 4.4.3 库存监控模型 |
| 4.4.4 配送监控模型 |
| 4.4.5 过程评价模型 |
| 4.5 系统集成接口设计 |
| 4.6 数据接入平台设计 |
| 4.7 数据分析平台设计 |
| 4.8 用户角色设计 |
| 4.9 数据模型设计 |
| 4.10 系统软件的开发环境 |
| 4.10.1 软件环境 |
| 4.10.2 硬件配置 |
| 4.11 本章小结 |
| 第五章 飞机制造企业生产管控中心核心功能实现 |
| 5.1 全域生产管控指标体系实现 |
| 5.1.1 指标体系建模 |
| 5.1.2 管控指标梳理 |
| 5.1.3 管控指标管理 |
| 5.2 多源异构系统的数据集成实现 |
| 5.2.1 数据编目 |
| 5.2.2 数据采集 |
| 5.2.3 数据存储 |
| 5.2.4 数据监控管理 |
| 5.3 数据处理及分析服务 |
| 5.3.1 数据加工 |
| 5.3.2 任务管理 |
| 5.3.3 算法维护 |
| 5.3.4 算法分类管理 |
| 5.4 可视化展示 |
| 5.4.1 生产管理展示 |
| 5.4.2 生产价值链展示 |
| 5.4.3 决策展示 |
| 5.5 本章小结 |
| 第六章 飞机制造企业生产管控中心测试 |
| 6.1 测试目的 |
| 6.2 测试环境 |
| 6.3 系统功能测试 |
| 6.4 性能测试 |
| 6.4.1 页面展示性能测试 |
| 6.4.2 数据分析性能测试 |
| 6.4.3 强度测评 |
| 6.4.4 容量测试 |
| 6.5 安全性测试 |
| 6.6 易用性测试 |
| 6.7 本章小结 |
| 第七章 总结与展望 |
| 致谢 |
| 参考文献 |
（6）基于大数据聚类挖掘的铁路工程地质条件评价模型研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 地质灾害风险评估 |
| 1.2.2 铁路工程地质条件评价 |
| 1.3 本文研究内容 |
| 1.4 本文的结构安排 |
| 第二章 相关理论与技术 |
| 2.1 地质灾害风险分析 |
| 2.1.1 地质灾害影响因素 |
| 2.1.2 地质灾害风险分析方法与评估模型建立 |
| 2.2 铁路工程地质条件评价 |
| 2.3 K-means聚类挖掘算法 |
| 2.4 随机森林算法 |
| 2.5 大数据可视化技术 |
| 2.6 本章小结 |
| 第三章 铁路工程地质条件大数据处理 |
| 3.1 铁路工程地质条件的基础数据 |
| 3.2 川藏铁路沿线区域地质条件大数据采集 |
| 3.2.1 地质条件大数据采集需解决的关键问题 |
| 3.2.2 地质条件大数据采集思路与方法 |
| 3.2.3 地质灾害历史数据采集技术方案 |
| 3.2.4 静态地质数据采集技术方案 |
| 3.2.5 动态气象数据采集技术方案 |
| 3.3 川藏铁路沿线区域地质条件大数据预处理 |
| 3.3.1 地质条件大数据预处理需解决的关键问题 |
| 3.3.2 地质条件大数据预处理思路与方法 |
| 3.3.3 地质灾害历史数据预处理技术方案 |
| 3.3.4 静态地质数据预处理技术方案 |
| 3.3.5 动态气象数据预处理技术方案 |
| 3.4 川藏铁路沿线区域地质条件异构大数据融合处理 |
| 3.4.1 多源异构地质条件大数据融合需解决的关键问题 |
| 3.4.2 多源异构地质条件大数据融合思路与方法 |
| 3.4.3 多源异构地质条件大数据融合处理技术方案 |
| 3.5 川藏铁路沿线区域地质条件大数据采集与预处理软件实现 |
| 3.6 川藏铁路沿线区域工程地质条件大数据处理平台设计 |
| 3.6.1 川藏铁路工程地质条件大数据处理平台设计需解决的关键问题 |
| 3.6.2 川藏铁路工程地质条件大数据处理平台设计思路与方法 |
| 3.6.3 基于Hadoop+Spark平台大数据高效存取访问解决方案 |
| 3.6.4 基于Spark平台大数据实时在线挖掘计算解决方案 |
| 3.7 本章小结 |
| 第四章 铁路工程地质条件大数据分析 |
| 4.1 铁路工程地质条件大数据分析需解决的关键问题 |
| 4.2 铁路工程地质条件大数据分析思路与方法 |
| 4.3 铁路工程地质条件与静态地质数据相关性分析 |
| 4.3.1 铁路工程地质条件与地形类型相关性分析 |
| 4.3.2 铁路工程地质条件与地层岩性相关性分析 |
| 4.3.3 铁路工程地质条件与地质构造相关性分析 |
| 4.3.4 铁路工程地质条件与地表覆盖类型相关性分析 |
| 4.3.5 铁路工程地质条件与植被覆盖相关性分析 |
| 4.3.6 铁路工程地质条件与高程相关性分析 |
| 4.3.7 铁路工程地质条件与坡度相关性分析 |
| 4.3.8 铁路工程地质条件与坡向相关性分析 |
| 4.4 铁路工程地质条件与动态气象数据相关性分析 |
| 4.4.1 铁路工程地质条件与降雨量相关性分析 |
| 4.4.2 铁路工程地质条件与土壤湿度相关性分析 |
| 4.4.3 铁路工程地质条件与地表温度相关性分析 |
| 4.5 本章小结 |
| 第五章 川藏铁路工程地质条件评价模型 |
| 5.1 铁路工程地质条件评价模型建立需要解决的关键问题 |
| 5.2 铁路工程地质条件评价模型建立的思路与方法 |
| 5.3 训练集处理以及特征属性选择 |
| 5.3.1 样本训练集的选择与处理 |
| 5.3.2 基于随机森林算法的特征属性选择 |
| 5.4 改进K-means聚类算法 |
| 5.4.1 MDDK-means改进聚类算法 |
| 5.4.2 算法准确性与执行效率对比实验 |
| 5.5 铁路工程地质条件评价模型 |
| 5.5.1 铁路工程地质条件评价体系 |
| 5.5.2 基于改进K-means聚类算法的评价模型 |
| 5.5.3 评价模型结果评估 |
| 5.6 川藏铁路沿线区域铁路工程地质条件评价分析 |
| 5.6.1 地质条件状况 |
| 5.6.2 铁路工程地质条件评价应用 |
| 5.6.3 工程建设施工建议 |
| 5.7 本章小结 |
| 第六章 川藏铁路工程地质条件评价大数据可视化 |
| 6.1 铁路工程地质条件评价可视化需解决的关键问题 |
| 6.2 铁路工程地质条件评价可视化的思路与方法 |
| 6.3 铁路工程地质条件评价大数据可视化应用实现方案 |
| 6.4 川藏铁路拉萨至林芝段工程地质条件评价大数据可视化应用展示 |
| 6.5 本章小结 |
| 第七章 结束语 |
| 7.1 本文工作总结 |
| 7.2 后续工作展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士研究生期间参研项目与研究成果 |
| (1)攻读硕士研究生期间参与项目 |
| (2)攻读硕士研究生期间撰写学术论文 |
（7）基于Spark分布式集群环境的电力负荷预测系统的设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 主要研究内容 |
| 1.4 论文结构安排 |
| 第二章 系统开发技术框架 |
| 2.1 分布式集群环境 |
| 2.2 HDFS及Spark架构 |
| 2.3 Hadoop安装 |
| 2.4 构造分布式Spark1.0.2集群 |
| 2.5 数据库SCADA/EMS |
| 2.6 本章小结 |
| 第三章 系统需求分析与总体设计 |
| 3.1 可行性分析 |
| 3.2 系统功能需求分析 |
| 3.3 系统非功能性需求分析 |
| 3.3.1 系统性能需求分析 |
| 3.3.2 系统安全需求分析 |
| 3.4 系统总体设计目标 |
| 3.5 系统体系架构设计 |
| 3.6 本章小结 |
| 第四章 系统功能模块设计 |
| 4.1 系统数据库设计 |
| 4.2 用户登录与注销模块设计 |
| 4.3 服务器节点信息模块设计 |
| 4.4 电力设备工况分析模块设计 |
| 4.5 短期电力负荷预测模块设计 |
| 4.6 本章小结 |
| 第五章 系统实现 |
| 5.1 用户登录与注销模块功能实现 |
| 5.2 服务器节点信息模块功能实现 |
| 5.3 电力设备工况分析模块功能实现 |
| 5.4 短期电力负荷预测模块功能实现 |
| 5.5 本章小结 |
| 第六章 系统测试 |
| 6.1 系统测试目标 |
| 6.2 系统测试环境 |
| 6.3 系统功能测试 |
| 6.4 系统压力测试 |
| 6.5 本章小结 |
| 第七章 结论与展望 |
| 7.1 工作总结 |
| 7.2 不足与展望 |
| 致谢 |
| 参考文献 |
| 附录 |
（8）自治区互联网舆情监测平台的设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 英文缩略语表 |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 研究目标及内容 |
| 1.4 本文的主要贡献 |
| 1.5 本文结构 |
| 第二章 平台相关技术和需求分析 |
| 2.1 爬虫技术 |
| 2.2 多源数据融合技术 |
| 2.2.1 多源大数据统一抽取转换技术 |
| 2.2.2 多源异构数据融合处理技术 |
| 2.3 非功能性需求分析 |
| 2.4 异构数据融合需求分析 |
| 2.5 舆情监测需求分析 |
| 2.6 本章小结 |
| 第三章 舆情监测平台设计 |
| 3.1 平台架构设计 |
| 3.1.1 技术架构 |
| 3.1.2 平台的功能设计 |
| 3.1.3 部署视图 |
| 3.2 统一接口规范的数据融合功能设计 |
| 3.2.1 数据源接入 |
| 3.2.2 舆情平台数据库 |
| 3.2.3 多源异构数据融合 |
| 3.3 舆情监测功能的设计 |
| 3.3.1 采用多线路多IP爬虫的舆情信息采集和优化机制 |
| 3.3.2 基于NMYQBF的舆情信息预处理机制 |
| 3.3.3 舆情信息分析研判 |
| 3.4 本章小结 |
| 第四章 舆情监测平台实现 |
| 4.1 数据融合实现 |
| 4.1.1 数据接入 |
| 4.1.2 数据划分 |
| 4.2 舆情监测功能实现 |
| 4.2.1 两微一端监测 |
| 4.2.2 网页监测 |
| 4.2.3 监测实现 |
| 4.3 本章小结 |
| 第五章 平台测试 |
| 5.1 测试目的 |
| 5.2 测试环境 |
| 5.3 功能测试 |
| 5.4 性能测试 |
| 5.5 本章小结 |
| 第六章 总结和展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 作者攻读学位期间发表的论文 |
（9）基于社交网络热点事件库的流行度预测研究（论文提纲范文）
| 致谢 |
| 摘要 |
| Abstract |
| 1 引言 |
| 1.1 研究背景及意义 |
| 1.2 研究挑战 |
| 1.3 本文的工作 |
| 1.3.1 研究目标与内容 |
| 1.3.2 研究成果 |
| 1.3.3 论文的组织结构 |
| 2 相关研究综述 |
| 2.1 大数据处理与应用 |
| 2.1.1 大数据的特征 |
| 2.1.2 大数据生命周期 |
| 2.2 社交网络数据分析应用 |
| 2.2.1 数据模型 |
| 2.2.2 数据应用系统 |
| 2.3 社交网络信息传播 |
| 2.3.1 网络信息传播影响因素 |
| 2.3.2 网络用户行为 |
| 2.4 流行度分析 |
| 2.4.1 流行度演化 |
| 2.4.2 流行度预测 |
| 2.5 本章小结 |
| 3 面向流行度分析与预测的社交网络热点事件库模型 |
| 3.1 问题描述 |
| 3.2 数学符号 |
| 3.3 社交网络大数据的多维特征分析 |
| 3.3.1 数据类型特征 |
| 3.3.2 内容特征 |
| 3.3.3 事件要素特征 |
| 3.4 社交网络数据模型 |
| 3.4.1 主要实体与属性 |
| 3.4.2 热点事件库数据约束 |
| 3.4.3 约束检查与数据查询基础操作 |
| 3.5 基于社交网络热点事件库的时间序列提取方法 |
| 3.6 实验与讨论 |
| 3.6.1 数据集与实验设置 |
| 3.6.2 约束检查实验 |
| 3.6.3 基于热点事件库的时间序列提取实验 |
| 3.7 本章小结 |
| 4 基于社交网络主题标签的流行度高峰期预测 |
| 4.1 问题描述 |
| 4.2 相关定义 |
| 4.2.1 流行度相关定义 |
| 4.2.2 数学符号 |
| 4.3 流行度演化研究 |
| 4.3.1 主题标签流行度特征 |
| 4.3.2 流行度演化规律 |
| 4.4 流行度高峰期预测 |
| 4.4.1 嵌入表示 |
| 4.4.2 内部注意力和相互注意力机制 |
| 4.4.3 高峰期预测 |
| 4.5 实验与讨论 |
| 4.5.1 预测评估 |
| 4.5.2 典型预测方法 |
| 4.5.3 比较说明 |
| 4.6 本章小结 |
| 5 基于社交网络事件库多因素耦合的流行度预测 |
| 5.1 问题描述 |
| 5.2 相关定义 |
| 5.2.1 事件 |
| 5.2.2 事件库实例的构建 |
| 5.2.3 数学符号 |
| 5.3 事件流行度预测 |
| 5.3.1 事件流行度因素分析 |
| 5.3.2 基于事件库的多因素指标获取 |
| 5.3.3 多因素分组嵌入 |
| 5.3.4 多因素耦合的流行度预测 |
| 5.4 实验与讨论 |
| 5.4.1 实验数据集选取 |
| 5.4.2 实验方案设计 |
| 5.4.3 实验结果分析 |
| 5.5 本章小结 |
| 6 流行度分析预测平台实现及应用 |
| 6.1 平台架构 |
| 6.2 平台实现 |
| 6.2.1 采集层 |
| 6.2.2 存储层 |
| 6.2.3 应用层 |
| 6.3 本章小结 |
| 7 总结与展望 |
| 7.1 总结 |
| 7.2 研究展望 |
| 参考文献 |
| 作者简历及在学研究成果 |
| 学位论文数据集 |
（10）老旧房屋健康智能监测云平台系统研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 引言 |
| 1.2 既有建筑健康现状 |
| 1.2.1 既有建筑服役现状及出现的问题分析 |
| 1.2.2 既有建筑结构健康监测的发展现状 |
| 1.2.3 老旧房屋健康监测的发展 |
| 1.3 物联网与云计算的发展 |
| 1.3.1 物联网与云计算的研究现状 |
| 1.3.2 老旧房屋健康智能监测云平台系统的发展 |
| 1.4 课题来源及本文主要研究内容 |
| 1.4.1 课题来源 |
| 1.4.2 主要研究内容 |
| 第二章 老旧房屋健康智能监测云平台系统的总体框架及工作原理 |
| 2.1 引言 |
| 2.2 国内房屋安全检测评定机制 |
| 2.2.1 国内房屋安全检测评定的历史 |
| 2.2.2 国内房屋检测评定的现行机制 |
| 2.2.3 老旧房屋综合治理的难题和对策 |
| 2.3 老旧房屋健康监测云平台系统总体方案 |
| 2.3.1 物联网系统通用架构 |
| 2.3.2 系统设计原则 |
| 2.3.3 老旧房屋健康智能监测系统架构设计 |
| 2.4 云计算技术 |
| 2.4.1 大数据处理模式与云计算的任务部署 |
| 2.4.2 云计算技术部署与应用 |
| 2.5 本章小结 |
| 第三章 老旧房屋健康监测与智能巡检系统的设计与实现 |
| 3.1 引言 |
| 3.2 老旧房屋损伤特点与诱因分析 |
| 3.2.1 老旧房屋的主要破坏特点 |
| 3.2.2 老旧房屋的损伤诱因分析 |
| 3.2.3 老旧房屋健康智能监测系统各功能子层的设计分析 |
| 3.3 老旧房屋传感器监测物联网系统总体架构 |
| 3.3.1 现阶段我国常规房屋检测技术 |
| 3.3.2 老旧房屋健康监测感知层传感设备选型与布设 |
| 3.3.3 老旧房屋健康传感器监测物联网系统网络传输层设计 |
| 3.3.4 智能传感器监测与传统人工监测对比 |
| 3.4 智能巡检APP系统架构和功能设计总体架构 |
| 3.4.1 老旧房屋传统人工巡检 |
| 3.4.2 老旧房屋巡检新方式 |
| 3.4.3 智能巡检APP系统总体架构与功能的设计 |
| 3.4.4 智能巡检系统网络传输层设计: |
| 3.4.5 老旧房屋智能巡检APP系统与传统人工巡检的对比 |
| 3.5 本章小结 |
| 第四章 老旧房屋健康智能监测云的关键技术和系统应用 |
| 4.1 引言 |
| 4.2 老旧房屋健康智能监测云设计 |
| 4.2.1 老旧房屋健康智能监测云的设计目标 |
| 4.2.2 云计算服务模式的对比 |
| 4.2.3 阿里云的关键技术及监测云数据处理的技术实现 |
| 4.2.4 基于云计算的老旧房屋健康监测变革 |
| 4.3 老旧房屋监测数据预处理与后处理分析 |
| 4.3.1 监测数据预处理 |
| 4.3.2 监测数据后处理分析及预测 |
| 4.4 智能监测云平台系统的管理和房屋预警应用实现 |
| 4.4.1 智能监测云平台系统的管理 |
| 4.4.2 老旧房屋安全预警实现 |
| 4.5 本章小结 |
| 第五章 结论与展望 |
| 5.1 本文的主要结论 |
| 5.2 不足与展望 |
| 参考文献 |
| 致谢 |
四、关于分布式、异构、历史遗留数据的数据挖掘研究（论文参考文献）
- [1]基于大数据的大学生日常思想政治教育创新研究[D]. 邓晶艳. 贵州师范大学, 2021(09)
- [2]河北财税信息管理系统的设计与实现[D]. 关云昊. 燕山大学, 2021(01)
- [3]面向智库需求的智慧数据服务模式及服务能力评价研究[D]. 吴雅威. 吉林大学, 2021(01)
- [4]机器学习中隐私保护数据计算研究[D]. 吴佳慧. 西南大学, 2021(01)
- [5]飞机制造企业生产管控中心设计与实现[D]. 陈尚宇. 电子科技大学, 2021(01)
- [6]基于大数据聚类挖掘的铁路工程地质条件评价模型研究[D]. 卢煌煌. 电子科技大学, 2021(01)
- [7]基于Spark分布式集群环境的电力负荷预测系统的设计与实现[D]. 胡彦丞. 电子科技大学, 2021(01)
- [8]自治区互联网舆情监测平台的设计与实现[D]. 闫俊. 上海交通大学, 2020(01)
- [9]基于社交网络热点事件库的流行度预测研究[D]. 于海. 北京科技大学, 2021
- [10]老旧房屋健康智能监测云平台系统研究[D]. 吴桐. 广州大学, 2020