一、数据仓库技术及其应用现状与前景(论文文献综述)
胡慧霞[1](2018)在《数据挖掘理论及其在学生综合评价中的应用》文中研究指明随着计算机技术的在社会各个行业的不断深入的融合与应用,数据仓库的地位也变得越来越重要。它可以进行大量数据已经被集成和预处理,也可以实现与其它数据的共享。由于数据仓库的数据处理机制的不断完善和可用信息处理设施的存在,基于大型数据仓库和数据挖掘技术的研究也得到了空前的重视。在国家高等院校急聚发展的今天,学生数量的激增给学生管理带来了诸多新的问题,这就需要我们通过现代先进的技术手段去解决这一问题,利用一套科学而完善的学生管理信息系统来智能化的管理。本文主要针对运用数据挖掘技术结合学生综合评价的实现与其原理进行阐述,主要是对数据挖掘相关概念与定义进行原理性理解与挖掘原理进行系统的分析。数据挖掘通常是指在对大量基础数据中进行隐藏和预测性的数据探索。对于数据聚类分析,决策树,OLAP分析,数据仓库这些方法对挖掘技术进行深入研究。在数据挖掘技术中,包含数据采集,数据算法分析,统计学分类研究方案等。其目标也是在已知数据中,根据数据走向或者动态图分析预测未来数据变化的方向与数据变化程度。在知识发现中用到数据挖掘技术的方面也是不少,对于数据库中有效的,具有潜在性,值得探索模式的非平凡过程。对于知识发现来说不只是局限于对数据库的数据处理,而是对于任何数据仓库的数据预测。对于本文中的决策树主要是从数据结构中常用的决策树算法来主要体现,这样不仅能够反映算法思想的正确性也可以测验算法的可行性。本文主要包括两个部分,一是对数据库、数据仓库以及OLAP联机处理进行比较,分析阐述数据仓库对学生综合评定系统的重要作用和支持原理。二是构建与实现学生综合评定系统,主要是应用雪花模式、立体数据分析模型对该系统的数据挖掘的处理,通过定量和定性分析来制定评定方法。在此基础上结合学院的特点制定学生综合素质评测立体体系,缩小噪数据对结果的影响,智育数据占绝对地位的不合理因素的影响。同时建立了多维学生综合测评联机分析挖掘模型,实现了在高职学生综合测评中的应用。本部分最后还实现了数据挖掘的决策树分类在学生综合测评、职升专推荐中的应用。
康介鹏[2](2015)在《车辆监控系统中数据仓库的研究与优化》文中指出随着科技进步和经济崛起,中国的汽车行业得到了迅猛发展。车辆迅速增加带来了一系列问题,例如汽车犯罪、交通拥堵、交通事故频发等,这不仅给人们生活带来极大不便,也严重影响了社会发展。为了解决交通问题,人们开始考虑将车辆结合互联网技术进行综合管理,智能交通的概念由此产生。车辆监控系统是智能交通研究的主要课题,也是解决上述问题的有效方法。本文设计了一款方便拆分组合、适合多种应用的监控中心,并详细介绍了其设计原则、系统结构、技术实现以及主要功能实现。随着系统规模扩大和时间推移,监控中心会积累大量的、有价值的车辆轨迹数据和报警数据,这将为用户统计行驶记录和分析报警信息提供丰富的数据资源。为了充分利用这些历史数据,本文将数据仓库技术引入到车辆监控系统,并利用Hive框架优化数据仓库实现。论文首先描述数据仓库的设计原则和体系结构,介绍元数据的定义、分类和作用。其次在详细分析原始数据的基础上进行数据模型的设计,抽象出驾驶员、车辆、行驶记录和报警记录四个主题,根据主题设计出相应的事实表和维度表,构造事实-维度关系模型和物理模型。然后根据具体业务需求选择粒度级别,并设计基于Hive框架的数据抽取、转换、加载流程。最后,在Hadoop平台和Hive框架之上,搭建车辆监管系统数据仓库实验平台,为企业高管提供统计分析和决策支持,并通过测试检验该平台处理大数据的效果。
杨英[3](2013)在《数据挖掘技术在中等职业学校招生决策中的应用》文中研究表明近几年随着规模不断扩大的中职院校招生,招生的形式也渐渐呈现多元化,各中职院校之间的竞争也很激烈。应该怎样充分利用本学校已有的招生资源信息,来促使中职院校能够在每年的招生宣传、招生计划投放、学院专业设置、生源选择许多方面做出极其正确的决策,往往是摆在中职院校面前的关键课题。现在的招生方式很多都用过去的经验进行,没有针对性,很盲目,仅仅凭有限的经验没有办法将招生信息效益进行扩大,所以也不能顺利地保证被录取学生的素质和报到率。数据仓库与数据挖掘技术能从数据信息中发现规则,指导决策,广泛应用于众多领域并获得了很大的成功。在中职院校招生领域引入数据仓库与数据挖掘技术,将有助于解决上述问题。论文以福建省中职学校2008年至2012年的招生、学籍数据为例,从应用的角度,以数据仓库技术为基础,利用数据挖掘进行知识发现。主要目标如下:一、综合分析比较,选用合适数据仓库平台及数据挖掘工具二、研究提出简单高效的数据仓库设计与实现方案。对来自不同的数据源、不同格式的数据,进行抽取、清理、集成、转换、加载,完成招生决策数据仓库的建立。三、基于招生数据仓库进行OALP分析,对生源结构、生源流失情况进行分析及可视化呈现。四、采用关联分析、决策树分析、聚类分析等数据挖掘方法,以发现生源地等级、成绩等级、毕业学校、专业设置与生源流失之问的内在关系。五、最后,根据上述分析结果,进行规则获取、分析评估与比较,提出招生策略及建议,以供招生决策人员参考。研究结果表明,数据仓库与数据挖掘技术能起到很大作用,在中职院校招生领域,能够便捷地从招生信息中发现很多潜在的有价值的知识,得到相应的招生策略,提供非常有效的决策支持信息,科学合理地指导招生、合理设置专业、高效地开展宣传,提高新生报到率和生源质量。这对整个中职院校扩大规模、提高办学质量具有重要的实践意义。
王小兵[4](2013)在《数据仓库技术在动力环境监控数据处理中的应用研究》文中进行了进一步梳理随着市场竞争日益激烈,作为某省知名动环监控系统供应商,天河公司认识到在该系统的维护工作中,要想在保证服务质量基础上提高效率、降低成本,必须做好系统维护过程相关数据的收集与统计分析工作。在此前提下,本文讨论了数据仓库、联机分析处理及人工神经网络等技术理论,研究了基于互联网构建动力环境监控系统维护信息数据仓库,并对未来一个时间段动环监控系统的工单数量预测做了探索。本文中构建的数据仓库基于互联网,从各地分布的数据库中获取需要的数据,同时提供web页面供用户输入维护、维修信息,另外还使用SSIS导入动环监控维护相关的excel数据表。数据经过联机分析后,通过SQL Mail及时提供给客户查看,相关报表也同时经由web页面展现给用户。对于每周工单数量,结合神经网络算法进行预测,为管理人员控制工单数量变化趋势提供帮助。
贺琳[5](2012)在《基于数据挖掘的道路运行安全风险分析》文中研究说明道路运行安全风险分析是道路交通安全管理的一个较新的研究方向。目前的分析方法,大都从管理制度上进行论述,或者采用基本的统计方法进行宏观层面的规律性分析,缺少先进的、智能化的分析方法。自2006年8月交通部发布《全国公路交通阻断信息报送制度》以来,交通部及各省级路网中心累积了大量的区域路网交通阻断信息,引入“数据挖掘”理论与技术,充分利用历史道路运行数据,梳理和分析干扰道路安全运行的各项原因,发现道路安全运行管理的内在规律,为我国道路安全运行制定科学的安全防范措施,提供辅助决策支持,对提高我国道路交通安全管控能力具有十分重要的现实意义。本文在分析国内外数据挖掘技术、交通安全理论和两者相结合方法的研究及其应用现状基础上,以国家科技支撑项目“国家高速公路安全和服务技术开发与工程应用示范”实践为背景,应用多学科知识交叉融合来研究基于数据挖掘的道路运行安全风险分析方法。首先,论文研究了道路运行安全风险相关信息的数据来源、数据特点、以及各个组成要素,进而提出了一个基于本体的道路运行安全风险数据仓库建模方法,该方法按照主题-维度-类别的方式,通过扩展和新增的BWW本体构件,将用户需求划分为多个主题,每一个主题由多个维度刻画,每个维度细分为多种类别,并进行维度、类别等对象的特性及其之间的关系的形式化定义和可视化描述。通过该方法,建立具有语义信息的概念模型,完成基于数据仓库的多源信息整合任务,为道路运行安全风险分析和管理提供有效的数据整合技术保障。然后,以“风险因素”分析为重点,在归纳和总结诱发道路交通阻断原因基础上,提出了采用改进的风险指数评价法来完成道路运行安全风险因素评估,通过对概率和严重性的动态划分获得各因素的相对风险指数,实现了对区域路网各动态因素风险性的量化评估,进而构建了道路运行安全评价指标体系,完成道路运行安全的综合评价。其次,以“风险事件”研究为重点,分析阻断事件的时间和地域等分布情况,提出了基于模糊聚类的道路交通阻断等级划分方法和基于模糊关联规则的公路运行安全成因分析方法,上述方法根据历史实际数据,实现了道路运行安全阻断等级的准确划分,并挖掘出交通事件属性之间的依存关系,为交通阻断的预防和处置提供辅助支持。再次,以“异常状态预测”研究为重点,针对现行道路运行异常状态的获取方式和处理模式效率低的问题,提出了一种道路运行异常状态预测方法,基于组合预测的路段交通量预测分析模型和基于RBF断面交通流参数(流量、速度、占有率)的预测偏差分析模型,实现对道路运行的常发性异常状态和偶发性异常状态进行动态预测。最后,将论文研究成果与工程实际结合,以某道路主管部门的风险分析需求、应用背景和实绩数据,来验证本文所述方法的有效性和可行性,研究成果为道路运行安全风险智能化和知识化管理提供了一定的参考与借鉴。
张瑞[6](2011)在《基于数据挖掘的码头能量管理系统研究》文中认为经过改革开放三十年的爆炸式发展,我国港口年吞吐量已稳居世界首位。而巨大的货物吞量是建立在码头机械设备不断升级换代的基础上的。码头机械设备的快速发展致使码头企业现存大量型号复杂、新旧不一的大型耗能设备。而随着国家建设节约型社会号召的提出和能源形势的日渐紧张,对码头进行节能改造已经成为我国码头企业发展的当务之急。要进行节能改造以降低大型耗能设备的能耗,首先需要了解各个耗能设备的具体耗能情况,如搬运或装卸一个集装箱平均能耗、单位工作时间内的平均能耗等详细运行记录,但传统的电量计量方法却无法提供这些详细记录。针对码头大型耗能设备的特点,本文提出对每个大型耗能设备单独配置电子式电能表的方案。在这个基础上提出的基于数据挖掘的码头能量管理系统使用计算机技术、通信技术、网络技术和数据挖掘技术相结合,通过串口服务器、光纤、交换机、企业内部网等建立通讯联系,将每块电子式电表的信息自动传输到计算机中心进行存储和处理,产生所需的数据信息图表,为相关管理人员提供实时、完整、准确的各项电量参数及统计分析、数据挖掘结果,为能源管理和生产管理提供条件。本论文所提出的码头能量管理系统能对单个大型耗能设备或电子式电表进行远程实时监控,管理部门可以获得包括数据挖掘结果在内的各种信息,如单位能耗、作业效率、线路故障和线损等,这样就可以提高装卸工艺选择、设备选型、能耗定额制定等改进的科学性,最终提高能源管理和生产管理的效率和水平。同时,这种方式充分利用了网络资源,提高了能源管理的自动化水平和现代化水平。它也符合我国码头的实情,有着良好的应用前景。
余志虎[7](2011)在《数据流聚类算法及其应用》文中提出近年来,伴随着网络信息技术的高速发展,产生了一种新式的数据模型——数据流。它常常产生于web上的用户点击、网络入侵检测、实时监控系统或无线传感器网络等动态环境中。相比较传统据集,这些海量的数据流具有快速性、连续性、变化性、无限性等特点,使数据流的挖掘面临着新的要求和挑战。聚类分析作为数据挖掘领域的一个重要课题,能够使未标记数据按照指定属性分组为不同的类,在近期得到广泛研究和高度重视。本文以数据流聚类算法为研究内容,异常数据点的检测为研究目标,主要作了以下三个方面的工作:(1)总结了数据流模型及其聚类的相关概念和技术,并描述了数据流聚类的特殊要求以及目前国内外数据流聚类算法。同时说明了异常检测的定义、现有方法以及当前所面临的挑战。(2)在高速网络中,数据流具有高速、突发等特性,使得高速网络中的异常检测成为一个难点。本文提出了一种基于SSClu树的流聚类算法用于高速流的异常检测。算法首先引入一种维持数据流概要信息的SSClu树;然后针对数据流的高速特性,采用预先聚集和缓存机制。预先聚集是在数据流对象插入SSClu树聚类之前对其进行预先聚类的过程,以处理突发高速数据流的到达;缓存机制是用于当高速流到达时,暂存当前来不及处理的数据流对象,解决了高速流不能及时聚类的问题。仿真结果表明,本算法能及时处理高速数据流,且具有较高的聚类精度,保证了高速流下异常检测的准确性。(3)针对无线传感器网络中的离群点检测问题,考虑到无线传感器网络(Wireless Sensor Network,WSN)环境分布式以及能源消耗的限制,提出了一种基于相似性群集模型的流聚类算法(Stream Cluster algorithm Based on Similarity Flocking model,SCBSF)。算法采用一种模拟群体运动的群集模型将数据自我组织来形成聚类,这种自组织性更加适用于分布式环境批量数据点的聚类;同时通过群集规则来完成任意形状簇的聚类,而不需要采用传统二阶段聚类思想,减少了算法计算和存储复杂度;考虑到WSN中算法的能耗问题,在采集节点端,利用初始聚类信息来临时记录所产生的相似数据特征,以此来减少数据传输从而达到降低通信能耗的效果。仿真结果表明,算法不仅具有较好的离群点检测效果,同时也降低了聚类过程中数据计算和传输的能源消耗。
施雪清[8](2010)在《移动通信网络分析的数据仓库构建以及数据挖掘》文中认为随着各行各业对于计算机应用需求的多样化及深入化,信息系统用户除了需要计算机为其处理日常事务以外,更需要从大量事务数据中归纳出业务的规律性及其发展趋势,以支持决策的制定过程。而传统的数据库技术已经远远不能满足需要,由此产生了数据仓库技术。企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础。把信息加以整理归纳和重组,并及时提供给相应的管理决策人员就是数据仓库的根本任务。在数据仓库技术发展的基础上,另一种技术——数据挖掘技术应运而生,它不仅能对过去的数据进行查询和遍历,并且能将海量的数据从数据仓库中提取出来,找出过去数据之间的发展规律与潜在联系,预测数据未来的发展趋势,为决策者提供决策依据。伴随着3G时代的来临,GSM移动通信网络在我国的运营已经走过了十多个年头,移动通信网络管理中积累了大量的网络测量数据,需要妥善的整理和处理,早期的网管系统已经不能满足网络规划者决策分析的需求。而近年来热门的数据仓库以及数据挖掘技术无异成为移动通信网络数据分析的最有效解决方案。该文以福建省移动通信网管数据分析平台项目为背景,阐述了在移动通信网管中引入数据仓库技术,采用数据挖掘方法,解决目前网络分析中的数据瓶颈问题。
李志玲[9](2010)在《基于数据挖掘的客户关系管理研究》文中研究表明随着市场竞争的日益剧烈,市场的主动权已逐渐地交到客户手中,假如客户对企业的产品或服务不满意,那么他们可以轻而易举地选择其他的供应商。特别是在信息技术高速发展的时代,企业是否拥有充足的客户资源,客户满意与否,已成为影响企业生存与发展的关键因素。客户就是上帝,客户就是企业效益的源泉。伴随着客户需求的多样化和个性化,企业要想在激烈的市场竞争中取胜,就必须地根据客户的不同需求,进行客户细分,针对不同的客户群,提供不同的服务。而数据挖掘技术,可以很好地从大量的繁杂的客户信息中,甄别不同的客户信息,从而,使企业更为便利地为不同的客户群,设计不同的产品和营销模式。目前,有关基于数据挖掘的客户关系管理研究,还是不太多,而且它的应用在现实中也是很少的,为此本论文的研究,将会有更为重要的意义。本论文一共分四章:首先,阐述了客户关系管理的发展历史、概念和几种新形式,以及本论文的研究背景和意义,然后描述了客户关系管理和数据挖掘分别在国内外的研究状况,并指出本论文的研究思路和创新点。其次,在技术层面上,重点通过数据挖掘技术,特别是决策树算法,分别分析客户等级、潜在客户发现、忠诚客户保持和建立流失客户预警,并分别建立分析模型。同时,也为企业如何提高客户的忠诚度和防止客户流失,提出了一些建议。最后,提出在目前条件下研究该课题的不足和局限性,以及对未来的展望。
张海[10](2010)在《基于公路运输业商业智能系统的研究与设计》文中提出随着企业信息化程度的不断提高,行业竞争也越来越激烈,特别是在当前经济危机背景下,高速铁路的快速发展,给公路运输行业带来了前所未有的压力。我国公路运输企业在承担重要社会责任的同时,也必须关注自身的经济效益,因此,建设适合公路运输业的商业智能系统,对公路运输企业不断完善服务质量,提升运营能力和竞争力有重要的意义。本文以公路运输业信息化系统为基础,结合公路运输业特点,详细阐述了公路运输业商业智能系统的构建过程,并在此基础上,针对数据仓库系统优化问题展开了深入研究。首先,分析了公路运输企业信息化系统的项目情况、系统架构及其局限性,结合商业智能技术的特点,以SQL Server 2005商业智能工具为平台,详细阐述商业智能系统的需求分析、系统逻辑模型、物理模型的设计过程,对数据进行抽取、转换、集成,装载到数据仓库中,利用SSAS创建多维数据集,并利用聚类分析中的K-means算法和马尔可夫预测法对客运量进行聚类分析和预测。其次,针对数据仓库系统中存储数据量大、查询条件复杂的情况,摒弃传统分层位图索引结构中的S树,引入权重线索红黑树索引结构,提出改进的分层位图索引结构,并给出相应的算法,通过CPU时间和I/O次数的对比,验证了所提出的改进算法在查询处理上的高效性。最后,通过OLAP对售票情况进行详细分析,验证K-means算法和马尔可夫预测法在客流量分类和预测中的有效性。
二、数据仓库技术及其应用现状与前景(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、数据仓库技术及其应用现状与前景(论文提纲范文)
(1)数据挖掘理论及其在学生综合评价中的应用(论文提纲范文)
中文摘要 |
abstract |
第1章 绪论 |
1.1 研究背景与目的 |
1.2 数据挖掘研究现状 |
1.3 课题研究内容与技术 |
1.3.1 课题解决的问题 |
1.3.2 论文框架与内容 |
1.4 本章小结 |
第2章 数据仓库与联机处理系统 |
2.1 数据仓库技术 |
2.1.1 数据仓库的定义和基本特性 |
2.1.2 数据挖掘与数据仓库的关联 |
2.1.3 数据仓库的系统结构 |
2.2 (OLAP)联机分析处理 |
2.2.1 分析处理的含义 |
2.2.2 OLAP与OLTP的比较 |
2.2.3 OLAP多维视图数据存储 |
2.2.4 数据仓库与OLAP的关系 |
2.3 多维数据模型 |
2.3.1 数据立方体 |
2.3.2 多维数据库模式 |
2.3.3 多维数据模型上的OLAP操作 |
2.4 数据仓库与数据挖掘 |
2.4.1 数据仓库的使用 |
2.4.2 从联机分析处理到联机分析挖掘 |
第3章 数据挖掘技术的研究 |
3.1 数据挖掘的基本知识 |
3.1.1 数据挖掘概念 |
3.1.2 数据挖掘的由来 |
3.1.3 数据挖掘的分类 |
3.2 数据挖掘处理过程模型 |
3.3 数据挖掘采取的举措 |
3.3.1 插值 |
3.3.2 聚类方法 |
3.3.3 关联约束 |
3.4 数据挖掘与应用领域关联性 |
3.5 目前数据挖掘的近况 |
3.6 未来的发展 |
第4章 构建学生综合评定系统 |
4.1 高职生综合评定构架 |
4.1.1 高职生素质评定因素 |
4.2 建立高职生综合评定体系 |
4.2.1 基于参数的评定项 |
4.2.2 学生综合评定的数据仓库组成 |
4.2.3 数据挖掘物理结构构成 |
4.2.4 数据仓库的建立 |
4.2.5 讨论 |
4.3 构建学生综合评定系统 |
4.3.1 总体思路 |
4.3.2 系统结构模块图 |
4.3.3 具体实施过程 |
4.4 建立学生综合评定系统 |
4.4.1 系统实现模块 |
4.4.2 关联规则树 |
4.4.3 实验结果 |
4.4.4 结果分析 |
第5章 学生综合评定系统测试 |
5.1 学生综合评定系统应用 |
5.1.1 构建多维立方体 |
5.1.2 多维数据 |
5.1.3 决策树的应用 |
5.2 职升专选拔的数据挖掘 |
5.2.1 职升专推荐决策树 |
5.2.2 建立和分析决策树分类 |
第6章 结论与展望 |
6.1 本文研究总结 |
6.2 今后研究方向与展望 |
参考文献 |
致谢 |
申请学位期间的研究成果及发表的学术论文 |
(2)车辆监控系统中数据仓库的研究与优化(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 论文研究背景和意义 |
1.2 车辆监控系统的发展现状 |
1.2.1 国外研究现状 |
1.2.2 国内研究与应用现状 |
1.3 数据仓库技术背景及其应用现状 |
1.4 论文主要研究内容和组织结构 |
第二章 Hadoop平台和Hive框架 |
2.1 Hadoop 平台 |
2.1.1 HDFS分布式文件系统 |
2.1.2 MapReduce分布式并行编程模式 |
2.2 Hive 框架 |
2.2.1 Hive 简介 |
2.2.2 Hive 特点 |
2.3 本章小结 |
第三章 车辆监控系统中监控中心的设计 |
3.1 车辆监控系统整体结构 |
3.2 监控中心的设计 |
3.2.1 设计原则 |
3.2.2 系统结构 |
3.2.3 技术实现 |
3.2.4 功能实现 |
3.2.5 系统应用 |
3.3 本章小结 |
第四章 车辆监控系统中数据仓库的设计与优化 |
4.1 设计原则 |
4.2 体系结构 |
4.3 元数据 |
4.3.1 元数据的定义 |
4.3.2 元数据的分类 |
4.3.3 元数据的作用 |
4.4 数据源分析 |
4.5 数据模型设计 |
4.5.1 概念模型 |
4.5.2 逻辑模型 |
4.5.3 物理模型 |
4.6 粒度选择 |
4.7 数据抽取转换装载 |
4.7.1 数据抽取 |
4.7.2 数据转换 |
4.7.3 数据装载 |
4.8 基于Hive的ETL优化 |
4.9 本章小结 |
第五章 Hive数据仓库部署和结果分析 |
5.1 平台搭建 |
5.2 功能测试 |
5.2.1 数据导入 |
5.2.2 Hive数据表 |
5.2.3 结果分析 |
5.3 性能测试 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文目录 |
(3)数据挖掘技术在中等职业学校招生决策中的应用(论文提纲范文)
中文摘要 |
Abstract |
中文文摘 |
目录 |
绪论 |
第一节 研究背景和意义 |
第二节 主要内容 |
第一章 数据挖掘在招生决策的应用现状 |
第一节 数据挖掘在教育行业的应用现状 |
第二节 数据挖掘在招生决策的应用 |
第三节 常用的数据挖掘工具 |
第四节 数据仓库技术 |
第二章 中职招生决策模型研究 |
第一节 常用的方法 |
第二节 中职招生决策的基本理论 |
第三节 影响中职招生计划制定的因素 |
第四节 中职招生决策模型的建立 |
第三章 招生数据仓库的设计与实现 |
第一节 确定决策主题 |
第二节 数据准备 |
第三节 招生数据仓库建立 |
第四节 招生数据仓库框架的生成 |
第四章 数据挖掘技术在中职招生决策中的应用 |
第一节 数据挖掘应用流程 |
第二节 k-means算法在中职招生决策中的应用 |
第三节 招生数据挖掘案例的应用分析及对策 |
第五章 总结 |
第一节 本文的研究成果 |
第二节 建议 |
第三节 存在的问题 |
参考文献 |
攻读学位期间承担的科研任务与主要成果 |
致谢 |
(4)数据仓库技术在动力环境监控数据处理中的应用研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 课题背景及其意义 |
1.2 数据仓库技术 |
1.3 数据仓库应用现状及前景分析 |
1.4 关于多维数据的分析 |
1.5 工单数量预测 |
1.6 论文各部分主要内容 |
第2章 动环监控系统简介 |
2.1 动环监控系统基本结构 |
2.2 动环监控系统各层级简介 |
2.2.1 监控模块 SM |
2.2.2 监控单元 FSU |
2.2.3 区域监控中心 LSC |
2.2.4 集中监控中心(CSC) |
2.3 本章小结 |
第3章 数据仓库技术相关理论 |
3.1 数据仓库 |
3.1.1 数据仓库的概念 |
3.1.2 数据仓库的特点 |
3.1.3 数据仓库的结构 |
3.1.4 主要的数据仓库技术 |
3.1.5 设计数据仓库 |
3.1.6 数据仓库构建过程 |
3.2 OLAP 技术 |
3.3 数据挖掘 |
3.3.1 什么是数据挖掘 |
3.3.2 数据挖掘能做什么 |
3.4 DSS(决策支持系统) |
3.5 神经网络 |
3.6 本章小结 |
第4章 数据仓库及其相关应用的分析设计 |
4.1 概述 |
4.2 需求分析 |
4.3 数据仓库的设计 |
4.3.1 收集数据仓库应用上的需求 |
4.3.2 准备物理环境 |
4.3.3 选定数据模型 |
4.3.4 OLAP 应用设计 |
4.3.5 使用 SSIS 实现数据的转换 |
4.4 工单数据预测的思路 |
4.4.1 神经网络的结构 |
4.4.2 神经网络的相关算法 |
4.4.3 建立工单预测模型 |
4.4.4 Matlab 工具箱 |
4.5 本章小结 |
第5章 数据仓库及其相关应用的实现 |
5.1 使用 SSIS 对数据进行抽取和转换 |
5.2 OLAP 及 SQL Mail 的应用 |
5.2.1 CUBE 的建立 |
5.2.2 使用 SQL Mail 传递信息 |
5.3 报表的展现 |
5.4 工单预测的探索 |
5.5 本章小结 |
第6章 结论与展望 |
参考文献 |
附录 |
攻读硕士学位期间发表的论文及其它成果 |
致谢 |
作者简介 |
(5)基于数据挖掘的道路运行安全风险分析(论文提纲范文)
创新点摘要 |
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 道路运行安全风险的内涵 |
1.2 研究背景 |
1.2.1 实践背景 |
1.2.2 论背景 |
1.2.3 课题背景 |
1.3 研究意义 |
1.3.1 论意义 |
1.3.2 现实意义 |
1.3.3 应用价值 |
1.4 国内外研究文献综述 |
1.4.1 道路交通安全管理国内外研究与应用现状 |
1.4.2 本研究相关领域研究现状 |
1.4.3 研究综述总结 |
1.5 研究内容及技术路线 |
1.5.1 研究内容 |
1.5.2 技术路线 |
1.6 论文的主要创新点 |
1.7 全文章节安排 |
第2章 道路运行安全风险多源信息整合方法 |
2.1 引言 |
2.2 道路运行安全风险数据来源及其特点 |
2.2.1 数据的来源 |
2.2.2 数据的特点 |
2.3 HTSMDW的系统架构 |
2.4 HTSMDW的概念建模 |
2.4.1 数据仓库概念建模 |
2.4.2 BWW表示模型 |
2.4.3 基于eBWW的数据仓库概念建模两阶段模型及其形式化描述 |
2.4.4 基于eBWW的道路运行安全数据仓库概念建模实例 |
2.5 HTSMDW的逻辑设计 |
2.6 HTSMDW的物理设计 |
第3章 道路运行安全风险因素分析 |
3.1 引言 |
3.2 道路运行安全风险因素的识别 |
3.3 道路运行安全风险因素评价 |
3.3.1 改进的风险指数评价法 |
3.3.2 基于eRIA的路网交通阻断成因指数评价方法 |
3.3.3 实例分析 |
3.4 道路运行安全风险评价指标体系及评价 |
3.4.1 评价指标体系的构建原则 |
3.4.2 评价指标体系的建立 |
3.4.3 道路运行安全风险综合评价 |
第4章 道路运行安全风险事件分析 |
4.1 引言 |
4.2 道路运行阻断事件的特性分析 |
4.2.1 特性分析指标的定义 |
4.2.2 道路交通阻断影响覆盖范围分析 |
4.2.3 道路交通阻断事件时间分布特性分析 |
4.2.4 道路交通阻断事件严重度分析 |
4.3 基于模糊聚类的道路交通阻断等级划分 |
4.3.1 道路交通阻断类型 |
4.3.2 模糊聚类算法 |
4.3.3 基于动态模糊聚类的阻断等级划分方法 |
4.3.4 道路交通阻断事件的等级划分的实例 |
4.4 基于模糊关联规则的阻断事件关联分析 |
4.4.1 关联分析的对象 |
4.4.2 基于FCM的模糊关联规则 |
4.4.3 基于FCM模糊关联规则的交通阻断事件关联分析 |
4.4.4 应用实例 |
第5章 道路运行安全状态检测方法 |
5.1 引言 |
5.2 道路运行状态特征分析 |
5.2.1 道路运行状态概述 |
5.2.2 道路运行异常状态特征分析 |
5.2.3 道路运行状态预测的基本流程 |
5.2.4 预测方法概述 |
5.3 基于路段交通流量预测的常发性异常状态检测方法 |
5.3.1 基于组合预测模型的路段交通流量预测 |
5.3.2 基于路段交通量组合预测分析的常发性异常状态检测算法 |
5.4 基于RBF预测误差偏差的偶发性异常状态检测方法 |
5.4.1 偶发性异常状态检测方法 |
5.4.2 交通流参数预测算法 |
5.4.3 状态异常判定条件 |
5.4.4 基于RBF预测偏差的偶发性异常状态检测算法 |
5.5 算法的测试 |
5.5.1 测试数据 |
5.5.2 评价指标 |
第6章 基于数据挖掘的道路运行安全风险分析系统的实现 |
6.1 开发与部署环境 |
6.1.1 开发环境 |
6.1.2 部署环境 |
6.2 系统的功能设计 |
6.3 系统主要功能介绍 |
6.3.1 道路交通阻断成因风险指数评价模块 |
6.3.2 基于模糊聚类的事件等级划分 |
6.3.3 交通阻断事件模糊关联分析 |
6.3.4 道路运行安全评价 |
6.3.5 道路交通运行状态预测 |
6.3.6 系统功能测试 |
第7章 结论与展望 |
7.1 结论 |
7.2 展望 |
参考文献 |
攻读学位期间公开发表论文 |
攻读学位期间参与的课题和项目 |
致谢 |
(6)基于数据挖掘的码头能量管理系统研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景 |
1.2 国内外研究现状 |
1.3 主要研究内容 |
1.4 论文组织 |
1.5 本章小结 |
第2章 数据挖掘及其关键技术分析 |
2.1 数据挖掘的概念 |
2.2 数据挖掘的存储对象 |
2.2.1 关系数据库 |
2.2.2 数据仓库 |
2.2.3 事务数据库 |
2.3 数据挖掘的任务 |
2.3.1 分类 |
2.3.2 聚类 |
2.3.3 关联 |
2.3.4 回归 |
2.3.5 预测 |
2.3.6 偏差分析 |
2.4 SQL Server2008中的数据挖掘工具 |
2.5 SQL Server 2008 Data mining生命周期 |
2.6 本章小结 |
第3章 码头能量管理需求分析与设计 |
3.1 需求分析 |
3.1.1 应用需求分析 |
3.1.2 系统需求分析 |
3.1.3 开发工具与数据库 |
3.2 系统结构设计 |
3.3 系统功能设计 |
3.4 数据库设计 |
3.4.1 数据表 |
3.4.2 数据表关系 |
3.5 本章小结 |
第4章 数据仓库的生成与数据挖掘技术 |
4.1 数据仓库的生成与实现 |
4.1.1 数据仓库的生成 |
4.1.2 数据仓库的使用及维护 |
4.2 数据仓库的实现 |
4.2.1 原始业务数据分析 |
4.2.2 数据ETL |
4.2.3 能量管理系统的数据ETL |
4.3 数据挖掘在码头能量管理系统中的应用 |
4.3.1 设备在特定时间段的用电量预测 |
4.3.2 码头设备能耗影响因素分析 |
4.4 本章小结 |
第5章 系统实现 |
5.1 数据采集程序的实现 |
5.2 电能量管理信息系统的实现 |
5.2.1 实时监测功能的实现 |
5.2.2 历史数据管理的实现 |
5.2.3 统计分析功能的实现 |
5.2.4 导出报表功能的实现 |
5.2.5 用电量预测功能的实现 |
5.2.6 能耗影响因素关联分析的实现 |
5.3 本章小结 |
第6章 总结与展望 |
6.1 工作总结 |
6.2 展望 |
参考文献 |
致谢 |
攻读硕士学位期间发表的论文和参与的项目 |
(7)数据流聚类算法及其应用(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题研究背景 |
1.2 数据流模型 |
1.3 数据流研究现状 |
1.4 本文研究内容 |
1.5 论文组织结构 |
第二章 数据流聚类算法及其应用现状 |
2.1 数据流聚类算法 |
2.1.1 数据流聚类要求 |
2.1.2 数据流聚类算法 |
2.2 数据流聚类的主要应用 |
2.3 普适数据流聚类 |
2.4 数据流异常检测技术 |
2.4.1 流异常的定义 |
2.4.2 现有异常检测方法 |
2.4.3 流异常检测面临的挑战 |
2.5 本章小结 |
第三章 基于SSClu树流聚类算法 |
3.1 问题描述 |
3.2 相关概念 |
3.2.1 SS 树定义 |
3.2.2 树的相关操作 |
3.2.3 微聚类 |
3.2.4 SSClu 树结构 |
3.3 基于SSClu 树流聚类算法 |
3.3.1 高速流处理策略 |
3.3.2 高速流聚类算法 |
3.3.3 聚类的更新 |
3.4 高速流的异常检测 |
3.4.1 异常检测框架 |
3.4.2 异常检测分析 |
3.5 实验分析 |
3.5.1 实验环境 |
3.5.2 实验评价 |
3.6 本章小结 |
第四章 基于相似性群集模型的流聚类算法 |
4.1 问题描述 |
4.2 相关工作 |
4.2.1 WSN 结构及离群点 |
4.2.2 WSN 数据流聚类研究现状 |
4.3 相似性群集模型 |
4.3.1 群集模型 |
4.3.2 相似性群集模型 |
4.4 基于相似性群集模型的流聚类算法及其在WSN 中的应用 |
4.4.1 WSN 中离群点检测模型 |
4.4.2 离群点判别 |
4.4.3 采集端数据处理方法 |
4.4.4 基于相似性群集模型的聚类算法 |
4.4.5 能耗分析 |
4.5 实验及结果分析 |
4.5.1 实验环境 |
4.5.2 结果评估 |
4.6 本章小结 |
第五章 总结和展望 |
5.1 论文工作总结 |
5.2 下一步工作计划 |
参考文献 |
攻读硕士期间发表的学术成果 |
(8)移动通信网络分析的数据仓库构建以及数据挖掘(论文提纲范文)
中文摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 国内外研究及应用现状 |
1.2.1 数据仓库技术在国内外的研究及应用现状 |
1.2.2 数据挖掘技术在国内外的研究及应用现状 |
1.2.3 数据仓库及数据挖掘技术在移动通信行业的应用现状 |
1.3 研究目的、内容 |
1.4 论文组织结构 |
第二章 数据仓库和数据挖掘技术及其在移动通信网管领域的应用 |
2.1 数据仓库 |
2.1.1 数据仓库的概念及特点 |
2.1.2 数据仓库技术与数据库技术的比较 |
2.1.3 数据仓库中的关键对象 |
2.1.4 数据稳定性原理 |
2.2 数据挖掘技术 |
2.2.1 数据挖掘技术的由来 |
2.2.2 数据挖掘技术的定义 |
2.2.3 数据挖掘技术的特点 |
2.2.4 数据挖掘与传统分析方法的区别与联系 |
2.2.5 数据挖掘的模式 |
2.3 数据仓库及数据挖掘技术在移动通信网管领域的应用 |
2.3.1 移动通信网络性能数据的特点 |
2.3.2 数据仓库及数据挖掘技术在移动通信网管领域的应用及意义 |
第三章 移动通信网管数据仓库系统的构建 |
3.1 系统概述 |
3.2 系统总体结构 |
3.2.1 硬件支持 |
3.2.2 数据运行环境 |
3.2.3 报表呈现模块 |
3.3 移动通信网管数据仓库建模 |
3.3.1 移动通信网管数据仓库建模的原则 |
3.3.2 移动通信网管数据仓库建模的步骤 |
3.4 移动通信网管数据仓库构建中的特点以及解决办法 |
3.4.1 基于网元层级关系的移动网络历史视图还原方法 |
3.4.2 基于XML 接口的大规模数据归一化处理模式 |
3.4.3 大规模数据处理中的缓冲以及负荷分担方式 |
3.4.4 智能报表引擎的应用 |
第四章 移动通信网管中数据挖掘的研究与实现 |
4.1 移动通信网管数据的时序性特点 |
4.2 移动通信网管数据分析现状 |
4.3 移动通信网管数据挖掘系统建模的方法论 |
4.4 基于时间序列的数据挖掘方法 |
4.5 移动通信网管数据挖掘系统的实现 |
4.5.1 话务量 ARMA 模型的建模流程 |
4.5.2 话务原始数据的预处理 |
4.5.3 基于ARMA 模型的话务量预测结果 |
第五章 系统实际应用场景展示 |
5.1 系统的维度建模 |
5.2 重要KPI 预警 |
5.3 全区小区无线利用率分布情况 |
5.4 六忙时话务量方差分析 |
5.5 基于ARMA 模型的指标预测 |
5.6 网络质量综合分析 |
5.7 增值业务收入分析 |
第六章 系统应用情况和设想 |
第七章 总结与展望 |
参考文献 |
致谢 |
(9)基于数据挖掘的客户关系管理研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 客户关系管理 |
1.1.1 客户关系管理的发展过程 |
1.1.2 客户关系管理概念的界定 |
1.1.3 客户关系管理的几种新形式 |
1.2 客户关系管理在国内外的发展现状 |
1.3 数据挖掘在国内外的发展现状 |
1.4 选题的背景和意义 |
1.5 论文的研究思路及创新点 |
1.5.1 论文的研究思路 |
1.5.2 论文的创新点 |
第2章 基于数据挖掘的客户关系管理相关理论的概述 |
2.1 客户的生命周期理论 |
2.2 客户价值分析 |
2.2.1 企业与客户的价值交互 |
2.2.2 客户期望与客户满意度的关系 |
2.2.3 客户满意度模型 |
2.3 数据仓库 |
2.3.1 数据仓库的特点 |
2.3.2 数据仓库的作用 |
2.4 联机分析处理(OLAP)技术 |
2.5 数据挖掘 |
2.5.1 数据挖掘的功能 |
2.5.2 数据挖掘的任务 |
2.6 数据仓库、OLAP 技术和数据挖掘三者之间的关联 |
第3章 基于数据挖掘的客户关系管理体系的构建 |
3.1 客户信息的搜集和处理 |
3.1.1 客户信息的搜集 |
3.1.2 客户信息的处理 |
3.2 构建客户关系管理系统模块的信息技术基础 |
3.2.1 数据挖掘的常用算法 |
3.2.2 数据挖掘实施的步骤 |
3.3 数据挖掘在客户关系管理中的实施 |
3.3.1 基于数据挖掘的客户关系管理系统模块 |
3.3.2 客户识别系统 |
3.3.3 潜在客户发现分析设计 |
3.3.4 忠诚客户分析设计 |
3.3.5 客户流失分析设计 |
3.4 实施该系统模块对企业的意义 |
3.5 企业应用客户关系管理系统时应注意的问题 |
第4章 总结 |
4.1 本论文的内容概述 |
4.2 本文研究的不足和局限性 |
4.3 研究前景展望 |
参考文献 |
致谢 |
攻读硕士学位期间发表的学术论文 |
(10)基于公路运输业商业智能系统的研究与设计(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景 |
1.2 课题研究意义 |
1.3 国内外研究现状 |
1.3.1 数据仓库的研究现状 |
1.3.2 联机分析处理的研究现状 |
1.3.3 数据挖掘的研究现状 |
1.4 本文研究的内容 |
1.5 本文的组织结构 |
第2章 公路运输业信息化系统 |
2.1 系统的总体架构 |
2.2 系统的技术路线 |
2.3 系统的体系结构 |
2.4 系统的功能介绍 |
2.4.1 客运管理信息系统 |
2.4.2 小件快递管理系统 |
2.4.3 人力资源管理系统 |
2.4.4 微机售票及网络结算系统 |
2.4.5 驾驶员培训管理信息系统 |
2.5 本章小结 |
第3章 公路运输业商业智能系统的设计 |
3.1 信息化系统局限性 |
3.2 商业智能系统的开发环境 |
3.3 商业智能系统的需求分析 |
3.4 商业智能系统的体系结构 |
3.5 逻辑模型设计 |
3.5.1 主题设计 |
3.5.2 维度设计 |
3.5.3 粒度设计 |
3.6 物理模型设计 |
3.7 ETL 过程设计 |
3.8 K-means 算法和马尔可夫预测法的研究应用 |
3.8.1 聚类分析总体设计过程 |
3.8.2 聚类分析数据处理过程 |
3.8.3 利用K-means 算法进行聚类分析 |
3.8.4 利用马尔可夫预测法对客流量进行预测 |
3.9 本章小结 |
第4章 红黑树分层位图索引对数据仓库的优化 |
4.1 权重线索红黑树 |
4.2 分层位图索引结构 |
4.3 红黑树分层位图索引查询算法 |
4.4 红黑树分层位图索引结构的查询过程 |
4.5 红黑树分层位图索引结构的效率分析 |
4.6 本章小结 |
第5章 公路运输业商业智能系统的数据分析 |
5.1 OLAP 分析 |
5.2 数据挖掘分析 |
5.2.1 K-means 算法分析和验证 |
5.2.2 马尔可夫预测法验证 |
5.3 本章小结 |
结论 |
参考文献 |
攻读硕士学位期间承担的科研任务与主要成果 |
致谢 |
作者简介 |
四、数据仓库技术及其应用现状与前景(论文参考文献)
- [1]数据挖掘理论及其在学生综合评价中的应用[D]. 胡慧霞. 天津职业技术师范大学, 2018(01)
- [2]车辆监控系统中数据仓库的研究与优化[D]. 康介鹏. 北京邮电大学, 2015(08)
- [3]数据挖掘技术在中等职业学校招生决策中的应用[D]. 杨英. 福建师范大学, 2013(02)
- [4]数据仓库技术在动力环境监控数据处理中的应用研究[D]. 王小兵. 华北电力大学, 2013(S2)
- [5]基于数据挖掘的道路运行安全风险分析[D]. 贺琳. 大连海事大学, 2012(08)
- [6]基于数据挖掘的码头能量管理系统研究[D]. 张瑞. 武汉理工大学, 2011(09)
- [7]数据流聚类算法及其应用[D]. 余志虎. 南京邮电大学, 2011(04)
- [8]移动通信网络分析的数据仓库构建以及数据挖掘[D]. 施雪清. 电子科技大学, 2010(07)
- [9]基于数据挖掘的客户关系管理研究[D]. 李志玲. 河北大学, 2010(11)
- [10]基于公路运输业商业智能系统的研究与设计[D]. 张海. 燕山大学, 2010(08)