数据挖掘分析实验报告总结 第1篇

关键词：数据挖掘；关联规则；Apriori 算法；商务应用

1 数据挖掘体系结构与关联规则

数据挖掘体系结构

数据挖掘（Data Mining）从定义上可以将其界定为从大量的、不完全的、有噪声的、模糊的、随机的数据中识别有效的、新颖的、潜在有用的，以及最终可理解的模式的过程[1]。通过对数据挖掘的定义的分析可以看出，数据挖掘是一个高级的处理过程，其最终要达到的目的就是能够实现从数据集中识别出以模式来表示的知识。由此可以看出，数据挖掘作为一门学科，涉及的学科知识十分广发，最主要的是涉及到机器学习、模式识别、统计学、智能数据库、知识获取、数据可视化等多个领域。借助数据挖掘这一工具和方法，其最终的分析结果和成果可以用在信息管理、过程控制、科学研究、决策支持等许多方面。一般来说，一个完整的数据挖掘过程由以下七个步骤组成：数据清理、数据集成、数据选择、数据变换、数据挖掘、模型评估和知识表示。

关联规则

关联规则的挖掘（ARM）是数据挖掘的一项重要的任务。关联规则挖掘最根本的目的就是能够快速有效地发现大量数据中项集之间有趣的关联或相关联系。其目的就是从事务数据库、关系数据库中发现项目集或属性之间的相关性、关联性以及因果性。随着数据挖掘相关研究的不断深入，许多研究学者更多地将研究的目光集中在了挖掘关联规则方面。从数据挖掘的本质特征来分析可以看出，关联规则更多地反映一个事件和其他事件之间依赖或关联的知识。通过关联规则的定义可以发现，如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预测。

2 一种基于矩阵的Apriori改进算法

挖掘关联规则的对象是含有大量事务的事务数据库，所以如何设计一个高效的算法，以提高挖掘的计算效率，降低数据库的扫描次数，是研究关联规则挖掘的重要课题。虽然现在对于挖掘算法Apriori 相关的改进和发展不断涌现，但是仍然有着自身的一些缺陷，最具有代表性的就是对数据库进行多次扫描而造成的精确度的降低，以及显著地存在由候选集C K 产生频繁集LK 等不足。正是由于这些缺陷的存在，本节提出一种基于矩阵的改进算法来产生频繁集L K ，这种算法只对数据库扫描一次，并且无需候选集C K ，即可得到频繁集L K 。

与算法相关的几个概念

3 Apriori算法在商务中的应用

问题提出

假如一家大型超市的管理人员想要知道每天超市的销售情况，顾客的购买模式，通过顾客特征，采取相应的货价摆放以增加顾客满意度和销售额。如果仅仅靠传统人工技术，从巨大的购买信息中找出相应的答案就像大海里捞针，非常困难。

本章利用数据挖掘技术针对这一问题进行研究。研究对象是顾客在一次购物的过程中，购买的不同商品之间联系，进而借助数据挖掘来进一步深入地分析顾客的购买习惯。在对不同商品种类和数量进行充分分析的基础上，进一步地分析出哪些商品最受顾客欢迎，从而购买频率很高，进而借助这种关联的发现可以帮助零售商制定营销策略。问题归结为分析当前销售情况，找出商品统计信息之间的关系。

数据来源

对于一个实际的数据挖掘应用来说，数据是进行数据挖掘的基础和根本，同时数据挖掘技术的应用对数据量也有一定的要求，只有这样数据挖掘才能有实际意义。数据的获取确实是这次研究数据挖掘面临的很大的问题。通过仔细的搜索和分析，我最终选择了Belgium 的一家的超市的销售数据。整个数据源是在三个非连续的时期收集的，在每一个间隔期，没有可获的数据。数据收集期跨时近5个月，总共收集到的数据记录有88163 条。在整个数据收集期间里，该超市总共出售了16470 种商品，共有5133 位顾客在该超市购买了至少一种商品。

但是与我们期望的数据还是有许多不同之处，数据表结构与我们需求的也存在很大的差别，这里可以采用等同和类比的方法，从而实现了对表结构的修改和数据的替换，这样以来就有效地实现了对大量的数据替换和表结构重组，解决了数据来源问题。

数据处理

由于数据仓库中各个主题中的数据是按照前端应用需求存放的，因此在数据应用前必然存在一个数据处理和转换的过程，这一过程需要对数据进行变形，使之适应前端应用需要。为了能够提高关联规则的效率，充分实现数据挖掘需要达到的既定目标，在进行数据挖掘之前，需要对交易数据库中的销售数据进行一定的预处理才能有效地应用数据挖掘技术和方法。这里采用超市销售表中的相关信息来进行数据挖掘，具体的每一条记录包括以下信息：

顾客编号 发票编号 购买日期 商品1 名称 商品1 总价 商品2 名称 商品2 总价 … 商品n 名称 商品n 总价 总计

通过分析可以发现，这种数据结构的特点是数据库的每一条记录能够对每一位顾客在一次进入商店进行购物的详细信息进行充分的记录，一次完整的交易记录通常由多种商品的名称和支付的价钱组成，这种数据结构提供的信息比较详细，但是不利于关联规则挖掘的。因为关联规则所描述的只是不同项目之间的关系，它只关注一次交易中有哪些商品被同时购买。我们不用去考虑顾客在一次交易中所购买物品的数量、价格等信息，每种商品 （也就是物品）都由一个二进制变量代替，而不管它是否在交易中被购买与否。由于我们挖掘的交易数据库中关联规则最根本要实现的目的是反映出各种物品之间的关联关系，因而，我们需要从综合数据库中取出当前主题需要的数据，将上述的交易记录的数据结构转换成如下结构形式：

顾客编号 发票编号 购买日期 商品1 名称 商品2 名称 … 商品n 名称

这样我们通过每一条的交易记录就能够清晰地看出每一名顾客在进入超市后的每一次购物情况，同时，经过变换也可以有效实现对数据的压缩和精简，一方面可以减少工作量，提升运算速度和效率，同时还能够有效筛除冗余信息，这样以来将会使算法搜索数据库的时间缩短，大大提高了Apriori 算法的效率。

数据转换

当对数据进行有效的压缩，并过滤了一些不需要的信息后，都会形成二维表形式的数据源模式。

但是这些数据都是描述业务事实的信息，在进行数据挖掘过程中，这些数据是不能直接拿来使用的，因此就需要把事实数据变换成算法能够识别的数据类型。一般来说，最常用的变换有两种：离散变换和值变换。

1）离散变换。离散变换的运算原理可以解释为通过将属性域划分为区间，减少连续属性值的个数，以区间的标号代替实际的数据值。概念分层就是其中常用的一种，在搜集会员数据的过程中，我们已经自然的进行了初步的概念分层。虽然绝大多数的商品都是用唯一的条形码标识予以区别，但是在超市中的某些商品分类比较细，而且种类繁多。这个时候如果按照每一条单独列出，就会比较繁琐，所以我们可以用某一种商品名称来代表一组商品，而不是某一单独的某一个商品。

2）值变换。在数据库中，由于许多属性值都是字符型数据，这样产生的最不利的影响会对数据的挖掘和统计分析造成不良的结果，我们采用值变换可以将字符型数值映射成为数值型数据。例如：

4 总结

该文回顾了数据挖掘及关联规则中的相关概念，并着重研究了一个关联规则的 Apriori 的算法实现，针对Apriori 算法存在的对数据库进行多次扫描，精确度不高，由候选集C K 产生频繁集L K 等的问题，提出了一种改进的算法，它解决了一些原有Apriori 算法可能遇到的一些难题。

参考文献：

[1] Agrawal R， Imielinski T， Swami association rules between sets of items in large databases[C]. Proceedings of the ACM SIGMOD Conference on Management of data，1993：207-216，.

[2] Jiawei Han，Sonny H S. Chee，Jenny Y for On-Line Analytical Mining of Data Warehouses[C].

[3] Information Discovery， and Data Mining，Bridging the Gap[C].

[4] Park J S， Chen M S， Yu P effective hash-based algorithm for mining association rules[C].Proceedings of ACM SIGMOD International Conference on Management of Data， 1995：175-186.

[5] 朱明.数据挖掘[M].合肥：中国科学技术大学出版社， 2002：100-128.

[6] 朱扬勇.数据挖掘入门[EB/OL].http：//.

数据挖掘分析实验报告总结 第2篇

[关键词] 经济与管理；本科生；数据挖掘；教学探索

0 引言

数据挖掘技术能从大量数据中发现和学习有价值的和隐藏的知识，因而近年来在国内外受到极大重视，在电信业、零售业和银行业等生产大数据的行业中正获得越来越广泛的应用[1]。因此，近几年数据挖掘这门课程已越来越多的走进了高校课堂。但是，数据挖掘又是一门综合性较强的交叉学科，它涉及到统计学、数据库技术、数据仓库、人工智能、机器学习和数据可视化等学科知识，对学生的专业知识背景和前期所学课程有较高的要求，这在一定程度上限制了数据挖掘作为一门既有理论价值又有实践价值的学科的应用和推广。笔者结合自己的教学实践研究经管类专业本科生开设数据挖掘课程的教学探索。

1 经管类专业本科生开设数据挖掘课程的必要性和可行性分析

从经管类各专业的培养目标角度分析。以南京邮电大学经管类专业为例，该专业包含信息管理与信息系统、电子商务、市场营销、经济学和工商管理等专业，这些专业的培养计划都把培养学生具备市场分析、经营和管理决策能力作为专业的基本培养要求之一。数据挖掘作为商务智能的核心技术，是辅助管理者进行决策分析的有效工具，在激烈的商业竞争中发挥的作用越来越大。因此，为经管类专业本科生开设数据挖掘课程可以更好地实现专业培养目标。

从经管类专业本科生的就业角度分析。经管类专业本科生毕业后，有相当一部分同学会从事营销岗位或者信息管理、网站设计与维护等技术岗位。对于从事营销岗位的同学来说，由于现在的市场营销概念已经发展到精细营销理念，即企业恰当而贴切地对自己的市场进行细分，对各种客户群进行深入的分析和定位，并根据不同的客户群特点，采取精耕细作式的营销操作方式，将市场做深做透，进而获得预期效益。数据挖掘技术是实现精细营销的重要工具；对于从事技术岗位的同学来说，学习数据挖掘课程，掌握数据挖掘的思想和方法对培养学生的系统思维和解决实际问题的能力、提高学生的信息素养很有必要。因此，学习数据挖掘课程对学生未来的工作也是非常有帮助的。

数据挖掘是一门交叉学科，课程理论性强，且对学生的计算机基础要求较高。经管类专业只有信息管理与信息系统、电子商务两个专业开设了较多的计算机课程。但是所有经管类专业都开设了统计学必修课程和数据库原理与应用必修或选修课程，这两门课程是数据挖掘的核心。因此，适当地调整教学目标，将数据挖掘作为一门选修课程为经管类专业本科学生开设是完全可行的。

2 教学过程中存在的问题

笔者在为经管类专业本科生开设数据挖掘课程的过程中，往往遇到两个问题。

1）课程较强的理论性与学生知识结构缺陷之间的矛盾问题。数据挖掘这门课程涵盖了统计学、数据库原理、机器学习、信息论和时间序列等众多内容，课程教材中有较多的公式推导和算法分析，因此课程的理论性较强。然而，经管类专业本科生之前只是学习了统计学和数据库原理与应用两门课程，机器学习等其他课程知识均没有涉及到，因此在学习数据挖掘课程时会感到内容难度较大，障碍较多[2]。

2）理论教学与实验教学学时合理分配的问题。由于数据挖掘课程通常是作为选修课安排在经管类专业本科生培养计划中，总学时数相比学位课程要少，只有32学时。正如前文所述，这门课程包含的内容多、难度大，因此必须要保证足够的理论教学学时数量。同时，数据挖掘又是一门应用性较强的课程，特别是对于经管类专业本科生来说，一定要安排足够的实验教学学时，让学生在实践中提高分析问题和解决问题的能力。在较少的总学时约束条件下，如何合理地分配理论教学学时和实验教学学时是课程教学遇到的又一个问题。

针对经管类专业本科生开设数据挖掘课程时遇到的矛盾问题，将这门课程的教学目标确定为：掌握数据挖掘基本流程和经典算法的基本原理，熟练运用数据挖掘软件工具，分析和解决商业应用问题。课程教学目标指出，为经管类专业本科生开设数据挖掘课程的目的是培养学生利用数据挖掘这种工具去分析和解决商业应用问题的能力，而不是要求学生具备数据挖掘算法设计能力。因此，对于经管类专业本科生来说，实验教学和理论教学同等重要。在课程教学大纲中应将理论教学学时和实验教学学时设置为各16个学时。

3 教学内容设计

用16个学时来介绍数据挖掘课程的理论知识点，这就要求教师能够为经管类专业本科生精心挑选知识点，“量身定做”教学内容。

1）以应用为目的设计教学内容。根据经管类专业本科生数据挖掘课程的教学目标，本门课程在教学过程中应注重培养学生应用数据挖掘分析问题和解决问题的能力，这就要求教师能够围绕数据挖掘的整个应用过程来安排教学内容。数据挖掘的应用过程包括数据收集、数据预处理、模型构建和知识评价四个主要步骤。数据收集步骤是指准备数据挖掘的对象——数据源，有的数据源是一个数据文件或者是数据库中的一张关系表，但对于具体的商业应用来说，数据源往往是来源于同一个或不同数据库中的多张关系表，或者是多个数据文件，这时需要对数据源进行集成，甚至是构建数据仓库；数据预处理步骤是指通过数据清洗、数据集成、数据变换和数据归约等操作为数据挖掘任务提供干净、准确和简洁的数据，提高数据挖掘效率和挖掘结果的质量，它是数据挖掘中非常重要的环节；模型构建步骤是指选用数据挖掘算法在预处理后的数据集上构建挖掘模型的过程，关联、分类、聚类和回归分析是数据挖掘中四个主要的挖掘任务，每个挖掘任务又对应了多个挖掘算法；知识评价步骤是指采用各种统计指标对挖掘结果进行评价，以发现有价值的知识。由于不同挖掘算法得出的挖掘结果表现形式不同，知识评价应针对具体挖掘算法进行，因此知识评价步骤要安排在每个挖掘算法介绍完之后。

2）重点介绍经典算法。针对经管类专业本科生在学习数据挖掘课程时感到内容难度较大这一问题，且考虑到课程的理论授课学时有限，笔者对原有的数据挖掘内容进行了适当的精简。数据挖掘包含数十种挖掘算法，删除复杂和难度大的数据挖掘算法，针对每种挖掘任务重点介绍其经典算法。例如，关联挖掘中的Apriori算法，实现分类挖掘的决策树算法，实现回归分析的最小二乘法以及聚类分析的k-means算法。对于神经网络、贝叶斯分类、时间序列挖掘和Web数据挖掘等难度较大或内容拓展性算法，在介绍相关章节时略提一下，并鼓励有兴趣的学生在课余时间自学。

3）增加商业案例。数据挖掘是一门技术性较强的课程，一般的教材往往注重理论，相关案例较少，因而不容易激发学生的学习热情[3]。为了帮助经管类专业本科生增加对课程中各种挖掘任务的感性认识，同时也是为了激发学生对本门课程的学习兴趣，笔者在讲授过程中增加了若干关于数据挖掘的幽默故事、经典案例和在各行业中的应用案例，通过分析案例加深学生对算法应用的理解。例如，在介绍关联挖掘任务时给学生们引入“啤酒与尿布”的故事；在介绍分类挖掘任务时讲解客户流失分析的应用案例；在介绍聚类挖掘任务时分析客户细分的应用案例。

基于上述分析，笔者为经管类专业本科生开设的数据挖掘课程教学内容具体如下。

第一章为绪论，主要是对数据挖掘技术作概括性描述，让学生对数据挖掘定义、与数据仓库的关系、研究热点以及发展趋势形成感性认识。本章内容分配2个理论教学学时。

第二章为数据仓库，主要内容包括数据仓库的定义与特征、数据仓库的数据组织、数据模型、总体结构和设计等原理性知识点，以及联机分析处理（OLAP）的基本概念和分析操作等基本知识。本章内容分配2个理论教学学时。

第三章为数据预处理，主要介绍数据清洗、数据集成、数据转换以及数据归约等数据预处理的基本步骤和常见方法。本章分配3个理论教学学时。

第四章至第七章围绕数据挖掘的4个重要任务——关联、分类、聚类和回归分析，在介绍每种挖掘任务基本概念的基础上，重点介绍经典算法的基本原理和挖掘结果评价方法，以及每个挖掘任务在具体行业的应用案例。第四章至第六章每章内容分别分配3个理论教学学时，第七章内容分配2个学时。

4 实验项目设计

数据挖掘是一门与实际应用结合紧密、实践性较强的课程。为了加深学生对数据挖掘理论知识点的理解，锻炼和提高学生的实际动手能力，必须结合实验进行教学。数据挖掘课程的理论教学和实验教学构成一个完整的整体，缺一不可[4]。实验教学要充分调动学生的主动积极性，而不是简单地让学生进行验证式的操作实验或仅仅局限于机械地使用、熟悉某种软件工具。

笔者针对课程知识点设计了4个实验项目，每个实验项目分配4个实验学时。

第一个实验项目为数据仓库构建，实验软件是SQL Server 2000，它提供了一套完全的数据库和数据分析解决方案，其中的Analysis Service 组件支持数据仓库的创建和应用，并提供OLAP联机分析操作。构建数据仓库的数据源来自SQL Server 2000的样例数据库Northwind，Northwind是一家虚构的公司，从事世界各地的特产食品进出口贸易。Northwind数据库包含有这家公司的销售数据，数据内容多，数据量大，数据结构贴近企业的真实数据，符合实验要求[5]。实验包含4个步骤：（1）理解业务数据，确定分析主题。Northwind数据库中的表非常多，需要理清各关系表的内容及其相互间的关联，在此基础上确定感兴趣的主题；（2）围绕分析主题，将主题相关的关系表通过企业管理器中的DTS进行清洗和转换，为数据仓库提供合适的数据；（3）使用Analysis Server向导，建立多维数据集；（4）基于构建好的多维数据集，对数据进行切片、切块、钻取、聚合和旋转等各种OLAP分析操作。

第二至第四个实验项目均是基于等数据挖掘工具，通过构建数据挖掘模型分析具体商业问题。其中，第二个实验项目为关联挖掘的综合实践，要求学生运用关联挖掘经典算法Apriori分析移动产品交叉销售；第三个实验项目为分类挖掘的综合实践，要求运用决策树算法进行电信客户流失分析；第四个实验项目为聚类挖掘的综合实践，要求运用聚类经典算法K-means进行电信客户细分分析。上述三个综合实验项目都要求学生首先能够分析具体应用问题，然后进行数据预处理、构建数据挖掘模型，并对挖掘结果进行分析和讨论，以锻炼学生数据挖掘的思维体系和数据分析能力。

5 教学方案实施

在教学方案实施过程中，着重营造活跃的课堂教学氛围，重视对课后作业的指导，以期提高课堂教学效果。考虑到经管类专业本科生的知识背景和本门课程的特点，在每次课堂上都会抛出一个思考题，要求学生们运用所学理论联系身边实际展开讨论。例如，在介绍完第一章后设计了一个讨论题：如何运用数据挖掘帮助电信企业提高竞争优势？学生讨论得很热烈，也得出了多个答案。由于本门课程课堂讲授学时较少，为了帮助学生复习、巩固及应用所学内容，课程每章节后都安排了课外作业，并就其中的难点进行指导和讲解。实验过程中，着重培养学生的独立性和数据分析能力。首先向学生讲授清楚实验具体要求和注意事项，然后放手让学生自己去做，遇到问题先鼓励学生自己思考解决，实在有困难再稍加指点。实验结束后，要认真分析实验结果，完成实验报告。选择实验数据时要考虑到数据是否符合现实情况且能够突出所分析的问题。除实验以外，其它实验项目均采用SPSS产品培训过程中所用的相关数据，数据量大小适中，适合在实验课上使用，而且这些数据与真实数据的差异小，有助于提高学生解决现实问题的能力。数据挖掘课程的教学方案已实践了5年，其间不断进行经验总结和探索，无论从近几年选修本门课程的学生人数还是从课堂上学生的反映和学习气氛看，本门课程都取得了很好的课堂教学效果。

6 结束语

数据挖掘作为一门技术性和应用性较强的课程，对优化经管类专业本科学生的知识结构、扩展学生的专业应用领域有着重要的作用。笔者结合自己的教学经验，对经管类专业本科生数据挖掘课程的教学内容和实验环节等方面进行了积极的教学探讨和实践，学生反映非常好。在今后的教学工作中，要不断实践，不断总结，进而不断改进和提高数据挖掘课程的教学质量。

参考文献

[1]刘云霞.统计学专业本科生开设“数据挖掘”课程的探讨[J].吉林工程技术师范学院学报，2010，26（6）：20-22.

[2]李志勇，王翔，喻军.信息管理专业数据挖掘课程教学探讨[J].管理工程师，2012，（4）：66-68.

[3]刘昆宏.浅谈本科阶段数据挖掘课程设置[C]//In Proceedings of 2010 Third International Conference on Education Technology and Trainning，Wuhan，2010：4-5.

数据挖掘分析实验报告总结 第3篇

第4章 无监督学习

基本概念

图数据点的三个自然

均值聚类

均值算法

图均值算法

计算机组成原理(第三版)

图均值算法的运行实例

均值算法的硬盘版本

图一个简单的k-均值算法硬盘版本

计算机组成原理(第三版)

3 优势和劣势

图存在和不存在异常值情况下的聚类

图不理想的初始种子(聚类中心)

图理想的初始种子(聚类中心) 4

计算机组成原理(第三版)

图自然(不规则)聚类和k-均值聚类

聚类的表示

聚类的一般表示方法

图聚类的规则描述

任意形状的聚类

图两个自然聚类以及

计算机组成原理(第三版)

5 层次聚类

图层次聚类的一个例子

图合并层次聚类算法

图合并层次聚类算法的工作

单链接方法

图单链接方法的连锁反应

计算机组成原理(第三版) 全链接方法

图采用全链接方法聚类

平均链接方法 优势和劣势

距离函数

数值的属性(Numeric Attributes) 布尔属性和符号属性(Binary and Nominal Attributes)

图两个只具有布尔属性数据点的混合矩阵

计算机组成原理(第三版)

7 文本文档

数据标准化 混合属性的处理 采用哪种聚类算法 聚类的评估

图带有熵和纯度值的混合矩阵

计算机组成原理(第三版) 发现数据区域和数据空洞

图用决策树来区分数据区域和空洞区域

数据挖掘分析实验报告总结 第4篇

数据挖掘的方法很多种：有组织适应性强高度容错的神经网络方法；有具有隐含并行性的遗传算法；有常用于预测模型的决策树方法；有研究不确定不精确知识的粗集方法；有覆盖正例排斥反例方法；有统计分析方法和模糊集方法。

数据挖掘的流程

1、问题的定义。在进行数据挖掘之前，要清晰地定义业务问题，确定挖掘的目标并制定合适的数据挖掘计划。

2、数据准备。数据准备是数据挖掘中的基础，和数据挖掘的准确性和有效性密切相关。包括选取数据、数据预处理和数据再加工三部分。数据选取就是从大量的数据中选取适合挖掘的数据，精化数据，提高挖掘效率。数据预处理就是对数据进行清理、集成、变换、归约和离散化。数据再加工就是根据挖掘目的，找出真正有用的特征，并建立相关模型，减少之后的工作量。

3、数据挖掘。数据挖掘就是根据数据的特征和数据挖掘的目的，选择合适的挖掘算法，进行相关的挖掘操作，得出挖掘结果。

4、结果的分析。对挖掘的结果进行解释和评价，转换成最终被拥护理解的知识。

5、结果的应用。将分析所得的知识应用到组织机构中去。在整个数据挖掘过程中，以上流程在挖掘过程中进行不断反复，当数据准备不理想或者选择的数据挖掘方法和技术不合适时，都需要重复一些步骤。

数据挖掘的功能

1、关联分析。关联规则挖掘由rakeshapwal等人首先提出。若两个或多个数据的取值之间存在某种规律性，就称为关联，当关联的规则过多时就需要进行筛选，一般使用“可信度”和“支持度”来选择对用户有用的规则，使挖掘更符合需求。

2、分类。分类就是找出代表整体信息的概念描述，并用这种描述来建构模型，一般用规则或决策树模式表示。

3、预测。预测就是找出历史数据之间的变化规律，建立相应的模型，并由此来对以后数据的种类和特征进行预测。回归分析法是预测常用的方法。

4、聚类分析。聚类是将数据按照数据的相似性将数据划分为若干组别的过程，并使得同类数据相似，不同数据相异。

5、偏差检测。偏差检测主要目的是发现数据库中存在的异常情况，找出观测结果与预测之间的差别。

6、时序模式分析。在时序模式中，需要找出在某个最小时间内出现比率一直高于某一最小百分比的规则，这些规则再根据形式的变化做出适当的调整。

数据挖掘技术在计算机课程教学评价中的应用

（一）数据的准备

笔者所在学校每学期结束都会对每位任课教师进行评价，本文选择了一个学期其中一门计算机课程的评价数据作为挖掘对象。提取各项评价数据，汇总如下表1表1评价分类信息表（任课教师教学情况评测表样本见附件一）针对以上任课教师，其人事信息汇总如下表2表2教师人事信息汇总表在搜集以上信息的时候，需要对数据进行预处理，删除一些不完整项或者是异常项。另外一些掺杂主观意识的分数项也要删除，譬如对某教师课堂教学效果满分或者零分，这都不和实际情况，需要进行预处理。另外要将上述老师个人教学评价值进行平均化，保证最后教师评价记录是一条，符合数据库的特征。综合以上两张表格处理如下表3表3处理后的数据备注：优>=分值*90%良>=分值*80%中>=分值*70%及>=分值*70%

（二）归纳总结

从表3得出的结果进行总结归纳，提取一些规则如下：

1、评价结果=“优”的教师具备以下特征规则：规则一：教师学历=“研究生”，教师职称=“副教授”，师德风范=“优”，教书育人=“优”，课堂教学=“优”，教学效果=“优”；

2、评价结果=“良”的教师具备以下特征规则：规则二：教师学历=“研究生”，教师职称=“讲师”，师德风范=“优”，教书育人=“优”，课堂教学=“良”，教学效果=“优”；规则三：教师学历=“研究生”，教师职称=“助讲”，师德风范=“优”，教书育人=“优”，课堂教学=“良”，教学效果=“良”；

2、评价结果=“中”的教师具备以下特征规则：规则四：教师学历=“本科”，教师职称=“助讲”，师德风范=“优”，教书育人=“良”，课堂教学=“中”，教学效果=“良”；规则五：教师学历=“本科”，教师职称=“助讲”，师德风范=“优”，教书育人=“优”，课堂教学=“中”，教学效果=“中”；

（三）结论分析

1、教师首先要提高自身的学历水平。在上述规则中，学历水平是研究生的教师都具有良好以上评价结果，而本科学历的评价结果却为中，因此鼓励年轻教师积极提升自身的学历水平。

2、教师要提升自己的职称。在上述规则中，职称为助讲的教师教学评价结果都不甚理想，而职称为副教授的gqy老师教学评价结果为优，且相应得分也较高。

3、课堂教学在教学评价中占有举足轻重的作用，如果在整个教学中没有新颖的教学方法，重难点不突出，层次不分明，课堂气氛不活跃，那么最后的教学评价也不会理想。

4、年轻教师因为执教时间有限，教学经验相对要少，没有老教师经验丰富，因此教学评价的结果也受影响。从以上结论中，可以发现评价结果为优的教师具备的一些特征。教师想要提高自身的教学水平首先要提高自己的学历和职称级别，积极向老教师讨教经验，在自己的教学中严于律己，全面关心学生的成长，采取好的课堂教学方法，从而达到较好的教学效果，提升整体的教学质量。

数据挖掘分析实验报告总结 第5篇

题目：在火车货场车皮编解场，2条轨道连接到2条侧轨道，形成2个铁路转轨栈，其中左边轨道为车皮入口，编号为A；右边轨道为出口，编号为D；2个铁路转轨栈分别编号为C和D如下图所示。编号为a, b, c, ┅, n的各车皮依序停放在车皮的入口处，调度室要安排个车皮进出栈次序，使得在出口处各车皮按照预先制定的顺序依次出站。车皮移动时只能按照从左到右的方向移动。 组织与指导老师：

组长：*

成员：***

指导教师：*

完成时间、地点：

时间：第16周（6月6日～6月10日）

地点：南校区东教学楼2楼机房。

一、需求分析

1、问题描述

掌握队列、栈、树的结构以及基本操作，熟悉for循环语句，if条件语句的嵌套，结构体函数等，从而实现程序的功能。

例如：

typedef struct Stack

Data *data;

Data *end;

}Stack;

2、实现功能

（1） 对于给定的车皮数n，以及各车皮的出站顺序，编程计算最优调度方案，使得移动车皮的次数最少。

（2） 数据输入：由文件给出数据。第一行有1个正整数n，表示车皮数；接下来的1行是一个字符串，表示预先确定的车皮的出站顺序。

（3） 数据输出：将计算得到的最优调度方案输出到文件，文件的第一行使最少移动次数m，接下来的m行使对于最优方案的m次移动。每次移动用“cXY”的3个字符表示，其中c表示车皮编号，X表示其时栈号，Y表示目标栈号。如果无法调度则输出“No Solution!”

二、概要设计

1、抽象数据类型

void ReadData ( void )

int i;

FILE *fp;

fp = fopen ( __, _r_ );

if ( fp == NULL )

exit ( __COUNTER__ );

fscanf ( fp, _%d_, &total );

if ( total

fclose ( fp );

exit ( __COUNTER__ );

……、

void Show ( Stack a, char *s )

char *tmp, *pc;

char *p = (char*);

pc = tmp = (char*) malloc ( total + 1 );

while ( p

*pc++ = *p++;

*pc = 0;

printf ( _%s%s_, tmp, s );

if ( d == end )

if ( min > count )

min = count;

strcpy ( res, tmp );

return;

count++;

if ( >= )

a = *;

else

a = EOD;

2、程序中包含功能模块及模块间的调用关系

各个基本操作都通过公有成员函数实现，然后通过主程序调用来实现程序的功能。

例如：

void Init ( Stack *a, int len )

a->data = (Data*) malloc ( len * sizeof(Data) );

memset ( a->data, 0, len * sizeof(Data) );

a->end = a->data - 1;

void main ( void )

ReadData();

Calc( head );

End();

三、调试分析

完成情况说明：

编译程序的过程中发现了许多漏洞，调试起来很不方便，经过我和同学的共同努力，终于有了突破性的进展，程序按照预定的时间调试出来了，虽然当中还存在不少的漏洞，但不会影响程序的正常运行。

程序的性能分析：各个操作都是通过公有函数的调用来实现的，其中用到结构体函数，for循环，If语句的嵌套等，通过测试可以实现其预定的功能。 出现的问题及解决方案：

缺失头文件导致的定义无效错误，通过添加头文件即可解决问题；定义字符类型错误，使用正确的函数类型定义即可，for循环的循环语句语法使用不当，导致函数无法实现循环，if条件语句的应用还存在问题，以上所述的编译错误都通过我很同学的认真分析后纠正了。

四、用户使用说明

了解程序的执行过程，输入合法的数值是程序正常运行的关键，输入的数值和开始需要的字符的长度要符合

五、心得体会：

通过多次编写程序，我总结出来一条心得，程序不能写完才调试，而是应该写一个函数调试一个函数，这样才能缩小调试的范围，提高编程的效率，程序编完后在进行一次综合调试，将不完善的函数和功能处理好，才能将程序做到最好！而且，很多时候，一个大的工程并不是一个人就能完成，这就要求我们有团队精神。让我感受最深的是在我调试程序的时候，一个很细微的错误就可能导致程序的出错，正所谓的“细节决定成败”，不管是在学习中 ，生活中，我们都要有一颗善于发现问题，解决问题的新，除此之外，还要有乐于助人的精神。

数据挖掘分析实验报告总结 第6篇

关键词 数据挖掘；关联分析；聚类分析

1 数据挖掘的概念

随着计算机技术的高速发展，互联网技术的风靡，获得相关资料已经是很方便了。但是人们也积累了大量的数据信息，面对这些庞大的数据，如何从中提取有用的信息成为当务之急，为此，数据挖掘技术应运而生。数据挖掘（Data Mining）是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的，人们事先不知道的，但又是潜在有用的信息和知识的过程。数据挖掘是发现知识的关键步骤。

2 数据挖掘的作用

关联分析

关联是反映两个或者两个以上事件之间存在某种依赖或联系规律性。关联规则挖掘是由Rakesh Apwal提出来的。在数据库中，如果存在一项或多项之间的关联，则其中一项属性值能够依据其他属性值进行推测。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中所有频繁项目集，这是数据挖掘中最成熟的技术之一。例如：每天购买洗发水的人也有可能购买肥皂，比重有多大。

聚类分析

聚类分析是把数据按照所选样本的关联相似性划分成若干小组，同一小组中的数据具有较高的相似度，不同组中的数据则相异，即同组中的相似性尽可能大，而组别间的相似性尽可能小。聚类事先不知道组别数和各组的相似特性。聚类分析可以发现数据的分布模式，以及可能的数据属性之间的相互关系。例如：将学生分为成绩优秀的学生，成绩中等的学生，成绩差的学生。

分类

分类就是按照以前数据库中的数据，分析它们的属性、特征，找出一个类别的概念描述，并利用这种描述构造模型，每个类别都代表了本类数据的整体信息，一般用规则或决策树模式表示。分类事先知道类别数和各类的典型特征。例如：学校根据以前的数据将教师分成了不同的类别，现在就可以根据这些来区分新教师，以采取不同的待遇分配方案。

预测

预测是利用历史和当前的数据找出变化规律，推测未来数据的种类及特征。预测是以时间为关键属性的关联规则。例如：对未来经济形势的判断。

偏差分析

数据库中的数据存在很多异常情况，偏差是对差异和极端情况的描述，发现数据库中数据偏离常规的异常现象，揭示内在原因。例如：在本次数学测试中有30%的同学不及格，教师为了提高教学质量，就要找出这30%不及格同学的内在因素，提高及格率。

3 数据挖掘的流程

定义目标

为了避免数据挖掘的盲目性，首先就必须清晰地定义出业务问题，确定数据挖掘的目标。挖掘的目标明确了，但结果是不可预测的。

数据准备

1）数据选择。在大型数据库和数据仓库目标中搜索有关的内、外部数据信息，提取适用于数据挖掘的数据；

2）数据预处理。研究数据信息，进行数据的加工、集成等，去除重复的数据信息，选择要进行数据挖掘的数据，并定义数据类型；

3）数据转换。数据转换决定数据挖掘能否成功，数据转换就是将数据转换成一个针对挖掘算法的模型。

数据挖掘

根据数据功能的类型和数据的特点完善和选择合适的挖掘算法，对所得到的经过转换的数据进行数据挖掘。

结果分析

解释和评估数据挖掘的结果，最终转换成用户能够理解的知识。

知识的同化

将分析所得到的知识集成到业务信息系统的组织结构中去。

4 数据挖掘的应用

数据挖掘技术在市场营销中的应用

数据挖掘技术普遍应用于市场营销中，假定“以往消费者的行为是未来消费者的消费理念的直接解释”，以市场营销学的市场细化原理为基础。通过收集、整理消费者以往的消费信息为数据信息，总结消费者的特点及兴趣爱好，根据不同的属性分类，推测出类似消费群体的消费行为，对不同类的消费群体进行定向营销，这样降低了营销的盲目性，节省了营销成本，提高了营销效率，为企业创造出更多的利润。

在经济发达国家和地区，许多企业都利用数据挖掘技术对数据信息进行加工处理，针对不同的消费群体，发出不同的营销材料，以突出自己的竞争优势，扩大产品的营业额。

数据挖掘技术在商业银行中的应用

数据挖掘技术广泛应用于金融界，金融事务搜索大量的数据信息，对这些数据进行加工处理，发现其特征，从而发现不同类别客户的特点，评估其信誉，推测其需求。商业银行所作业务的利润与风险是并存的，为了保证最大利润和最小风险，必须对客户的账户进行科学精确的分析归纳。

美国银行使用数据挖掘技术工具，根据不同消费者的特点制定不同的产品，增强其竞争优势。

数据挖掘技术在医学上的应用

数据挖掘技术在医学上的应用相当广泛，可以利用数据挖掘技术手段来提高从药物的生产制造到医疗诊断等的效率和效益。在药物生产方面，通过对药物分子结构的分析，可以确定是什么成分对病患的治疗发挥了作用，从而推测出该药对什么病有治疗作用；在医疗诊断方面，通过对基因的分析处理，可以确诊是什么发生了病变，属于哪种病毒等。

数据挖掘技术在欺诈甄别中的应用

银行或者商业上经常发生欺诈行为，给银行和商业单位带来了不可估量的损失。通过数据挖掘可以对这种欺诈行为进行预测，总结各种诈骗的行为特征，提醒广大人们注意。

5 结论

数据挖掘技术是一个全新的研究领域，每年都有新的数据挖掘方法和模型产生，随着数据库等技术的发展，数据挖掘技术的应用领域将会更加广泛和深入。尽管如此，数据挖掘技仍然存在许多问题需要解决，尤其是超大规模数据挖掘的效率有待提高。

参考文献

[1]李雄飞，李军.Data Mining and Knowledge Discovery.数据挖掘与知识发现[M].北京高等教育出版社，2003.

数据挖掘分析实验报告总结 第7篇

关键词：学校图书馆；数据挖掘；WEB数据挖掘

1 关于数据挖掘的简要介绍

数据挖掘（Data Mining）在当今时代已与计算机科学有着密不可分的关系，它是数据库只是发现（Knowledge-Discovery in Databases，KD）中的一个重要步骤。具体来说就是指从大量的、不完善的、模糊的、随机的实际数据中自动搜索隐含在其中的潜在的具有特殊关系性（属于Association rule learning）的信息和知识的过程。其主要相关于计算机科学技术利用统计技术、关联规则、基于历史的分析MBR方法、聚集检测、连接分析、决策树和规则推理、神经元网络、遗传算法等手段帮助人们对数据库中的大量业务数据进行抽取、转换、分析和转换模型化处理，从而实现利用数据预测未来，帮助决策者进行针对性更强、更为准确的决策的目标。所谓数据挖掘就是从有一定容量的数据库中发现各种数据模型、概要和导出值的过程，总而言之数据挖掘也是一个归纳的过程。一直以来，数据归纳应用主要集中在金融、零售及电子商务等方面。而随着数据额挖掘技术的发展，近年来其应用范围也扩展到图书馆信息系统的处理上。并利用WEB信息挖掘，与信息检索、文献加工及数据库等实现了紧密结合。

2 学校图书馆的Web数据挖掘构思

WEB数据挖掘技术

随着计算机时代的全面发展，在过去的几十年中Web以其不可比拟的优势发展成为了当今世界规模最大的公共数据源。其中，Web数据的挖掘即是指从Web超链接、网页内容和使用日志中探寻有用的信息。根据在挖掘过程中使用数据的不同，可将挖掘任务划分为主要的三大类：Web结构挖掘、Web内容挖掘和Web使用挖掘。而数据挖掘经常采用的技术就包括：统计技术、关联规则方法、基于历史的分析MBR方法、聚集检测、连接分析、决策树和规则推理、神经元网络、遗传算法等，各技术之间侧重点有所不同，笔者对其性能做出简要评比如下表： 数据挖掘在图书馆的应用

作为一所高校信息汇聚的地方，以及学子们获得知识的重要阵地，图书馆一直是高校重点管理的地方。其文献资源、数字资源和网络资源不断增加，从数量巨大的数据中挖掘出对读者最有价值的信息资源，就成了目前图书馆管理的重要任务。因此，我们利用对于图书馆资源系统WEB的数据挖掘，为读者提取了其所需的显性及隐形知识，显著提高了图书馆资源的利用率及效率，有效提升学校图书馆知识管理服务的水平。

⑴对图书馆文献管理集成系统的挖掘。图书馆要实现现代化管理，其中一项重要的任务就是对图书馆文献管理集成系统的数据挖掘。文献管理集成系统主要是对文献信息资源进行科学的管理、有效的开发并且最终实现资源的流通共享。在此过程中，我们可以利用数据挖掘的关联规则、决策树和聚类分析等方法对文献管理集成系统中的流通管理数据进行提取，着重注意其中的读者信息分类、书目信息以及相关借阅历史。从分析结果中，我们可以获得准确、科学的关于读者的借阅习惯及需求，以此来对照我们图书馆文献系统的现状，为图书馆的馆藏建设和图书推荐服务等工作提供科学依据。

第一，馆藏建设。传统的图书馆馆藏建设都是由专门的工作人员一手包办的，虽然这个过程中也要参考许多专业建议，但不可否认这样的馆藏建设在很大程度上都具有主观性，不能真实反映广大读者的需求。同时我们也在思考，如何才能利用有限的资金让图书馆配备最优质的、利用率最高的文献配置？如能通过对馆内文献管理集成系统信息进行挖掘及分析研究，统计出各类，甚至各文献的借阅率等基本情况，就可以根据读者的需求有针对性地进行文献信息资源的补充。此外，对于图书馆中老化、过时的即时性文献也能进行清除。并且，对WEB数据的挖掘对于馆藏的合理布局也具有十分重要的指导意义。

第二，图书推荐服务。对图书馆文献管理集成系统的数据进行挖掘，可以有效地了解该图书馆使用者的阅读习惯和研究方向等，从而进行有针对性的深入的相关主题推荐。从数据分析可对于时下大家感兴趣的主题进行介绍从而吸引更多的读者来进一步了解本馆的馆藏，甚至成为图书馆的常客。运用数据挖掘的关联规则对图书馆借阅数据进行处理，对相关的数据分析做出明确报告，还可得出各专业图书间的直接和潜在联系，真正为读者的阅读、深入研究提供便利。

⑵学校图书馆的Web数据挖掘。根据前文对于数据挖掘的简要介绍，具体来说WEB数据挖掘就是以Internet的数据为分析对象，为提炼有价值的信息，将传统的数据挖掘技术与现代信息技术相结合的重要手段。因此，WEB数据挖掘兼具了两种技术的特点，涉及面十分广泛，包含了统计学、计算机网络技术、信息学等多个领域。其主要内容包括了三个主要的方面：WEB内容挖掘（Web Content Mining）、WEB结构挖掘（Web Structure Mining）以及WEB日志挖掘（Web Usage Mining）。因此根据以上特点，将其应用于学校图书馆信息的管理。

第一，Web内容挖掘。顾名思义即针对网页内容进行Web挖掘，对于网页中的非结构化的数据，如文本数据、音频数据、视频数据、图形数据等进行综合分析，从大量的无序、随机的Web数据中提取对读者有价值的信息资源，而为我们所用。在图书馆的信息管理中，我们的工作人员需要从读者的角度出发，利用WEB内容挖掘帮助读者过滤信息的问题，进而提高信息质量，建立并集成WEB站点的数据模型，以满足广大读者的不同程度的查询需求，为其提供更有针对性、更专业的技术支持，从根本上改变原先只能提供简单关键词搜索的窘境。

第二，Web结构挖掘。这里的结构是指Web页面之间的超链接结构，因此Web结构挖掘就是从结构分析入手，寻找并总结“话外之音”，从而发现蕴藏在Web页面之外的潜在的有价值的模式和知识。对站点的组织结构和页面结构中的相关信息进行推导，挖掘出数据链的结构之间的共性、规律，对其进行分类总结。在图书馆信息管理中即可通过以上手段，为读者提供潜在的知识点。

第三，Web日志挖掘。Web日志挖掘是指对读者访问Web时在服务器留下的访问记录进行挖掘，获得读者访问的基本模式和内容。马克思指出，我们要透过现象看本质，因此，Web日志挖掘的核心就是对日志进行分析后得出的读者的信息访问的规律和喜好。根据以上结论，再对Web上的文档进行分类、寻找文档主题、并汇总搜索结果。进而对信息进行调整、更新为读者提供更为全面、准确的信息支持。

3 结语

在21世纪的今天，互联网大大丰富了我们的信息来源，在拓宽了我们的眼界的同时也带来了许多无价值信息。学校图书馆要提供高水平现代化的信息服务工作，就需要从信息的海洋中挖掘出为数不多的宝藏。Web数据挖掘帮助我们的学校图书馆实现了这个目标，并且向着更为人性化的服务发展，从被动提供简要信息到今天主动为读者提供更多更丰富的信息，不得不说这是非常有意义的进步。

[参考文献]

[1]杜文峦.数字图书馆网络个性化定制服务现状分析[J].情报资料工作， 2003，（1）：57-59.

[2]曾春，邢春晓，周立柱.个性化服务技术综述[J].软件学报，2002，13 （10）：1952-1961.

[3]夏年军.图书馆网站建设中的个性化信息服务[J].图书馆论坛，2002， 22（2）：79-81.

数据挖掘分析实验报告总结 第8篇

【关键词】搜索引擎 网络数据挖掘相关技术 研究

在社会的发展之下，网络已经成为人们生活与生产中必不可少的工具，但是网络中充斥的大量繁杂信息也在一定程度上影响着人们的信息获取速度，网络信息检索在检准率与检全率方面依然难以满足人们的需求，而将网络数据挖掘技术应用在其中即可很好的解决这一问题。

1 数据挖掘技术简介

数据挖掘技术就是从大量模糊、随机、不完全、有噪声信息中提出有用信息的一个过程，与数据挖掘技术相关的技术还有数据分析技术、数据融合技术、知识发现技术等等，在技术水平的发展下，统计学方法、决策树、关联分析等一些新型数据挖掘技术也相继出现。与数据挖掘不同，信息检索实质上是一种信息发现任务，也是知识发展过程中的重要环节，信息检索能够帮助人们了解各项静态信息，但是难以分析到数据间的关系及其未来发展趋势。而应用数据挖掘技术则可以有效提升系统检索能力，预测出未来的走势，因此，将数据挖掘技术应用在搜索引擎中也是大势所趋。

2 搜索引擎与网络数据挖掘

网络数据挖掘是一种将数据挖掘技术与网络融合的一种新模式，网络数据挖掘也能够称之为Web挖掘，网络数据的页面复杂、数据内容繁杂，文章也具有不规则性，将数据挖掘技术应用在数据挖掘中可以有效的解决上述问题，根据处理对象，网络数据挖掘任务有三种类型，即网络内容挖掘、网络使用挖掘与网络结构挖掘。

网络内容的挖掘

网络内容挖掘就是从网络数据、网络内容与网络文档中挖掘信息，很多网络信息是能够在网络中过去的，但是依然有很大一部分数据难以采用该种方法获取，如使用PHP、JSP与ASP的动态网页，拒绝访问的网站，商业数据库中的数据。这些内容都能够使用网络内容挖掘法来获取，这可以使用两个方法：网络页面内容挖掘法与搜索结果再挖掘法。

网络结构挖掘法

网络结构挖掘法强调挖掘网页中的链接结构，并从中推导相关的知识，这种挖掘法与引文分析有着密切的关系，网络中的链接信息能够为数据挖掘提供全面的支持，为了获取到理想的效果，可以来分析网页链接与链接数量，并建立起链接结构模式。其常用的算法有Propriteary算法、Google算法、HITS算法与PageRank算法四种。

网络使用挖掘法

网络使用挖掘法就是通过日志发现来访问页面的一种模式，与网络内容挖掘模式和网络结构挖掘模式不同，网络使用挖掘法的挖掘对象非是网络与用户交互中的二手数据，这些数据大多来自Cookies或者Web服务器中的信息、系统交互信息与访问记录。

3 数据挖掘技术在网络信息检索中的应用作用

目前，人们已经进入了一个信息爆炸时代，虽然众多搜索引擎网络可以满足人们对于信息检索的基本需求，但是还是有很多地方不到位，目前，网络挖掘技术已经开始在网络领域中得到了应用，也取得了一定的成效。实践显示，将数据挖掘技术应用在网络信息检索中能够取得如下的效用：

提升标引准确性

标引能够准确选择出文献的检索标示，网络信息范围广、复杂性高、数量多，使用人工标引很难取得理想的检索效果，因此，必须要使用自动标引。将网络数据挖掘技术应用在其中能够深刻的揭示出相关信息的联系，帮助用户在文档中进行标注，提升信息摄取的准确性。而以此为基础来应用加权算法则能够得出具体的信息关联，对于提升检索效果有着十分积极的效用。

可以对检索结果进行分类

数据挖掘分析实验报告总结 第9篇

关键词：Web Service 数据挖掘 特点

1 引言

随着计算机在社会的各行各业中得到了广泛而深入的应用和信息技术的不断的发展，各行各业特别是在商业、金融以及数据分析比较密集的领域中时刻都再产生出大量的计算机数据，再加上web及internet技术的迅速发展网络中得各式各样的信息和数据也越来越丰富。特别是当前的数据又分布于不同地区，在面对这种大量的GB 级、TB 级甚至更多的数据的情况下，如何处理数量日益增长的数据以及如何在这纷繁的信息数据中找到我们需要和精准的有用信息就显得十分的重要。这样计算机数据挖掘这一个年轻的学科在当今的计算机数据的处理和数据的挖掘中得到了越来越广泛的关注和应用。所谓的数据挖掘，简单来说就是应用计算机的一系列算法从海量的计算机数据中提取或“挖掘”有用的信息。随着计算机应用和技术的不断发展，人们在数据挖掘技术的研究也获得了不错的成绩，数据挖掘在这种背景下得到了很大的发展。

Web服务是基于分布式架构并且独立的运行于操作系统的一种的计算机服务技术，通过这个可互操作的应用程序的平台和标准的web协议就可以让程序访问的应用程序逻辑。它具有更加广阔的应用空间是由于web服务的分布式的技术特点使得它具有跨平台和跨internet的优点，这样就能成功的使用网络的强大的可伸缩性的特点，完成很多用于重复使用和互操作的目的的工作。Web技术和数据挖掘技术的良好切合就能避免传统数据挖掘中大量转储和效率低下的缺点，提高数据挖掘的效率和灵活性，为企业提高效率和效益提供了保障。

2 Web Service体系

Web Service 技术是面向服务的能够给予服务的抽象定义和服务的、具体实现并给以服务查找、服务实例选择并实现可交互操作的一种体系结构。Web service 体系结构基于服务提供者（Service Provider）、服务注册中心(Service Registry)和服务请求者(Service Requestor)之间的交互并依赖于依赖SOAP（Simple Object Access Protocol）、WSDL(Web Services Description Language) 和UDDI(Universal Description Discovery and Integration) 三者的技术。其中的交互包含了（Publish）、查找（Find）和绑定（Bind）操作。WSDL所提供的服务描述是通过Web 服务提供方送达Web 服务注册中心后，注册中心基于WSDL所提供的服务描述，按照UDDI 的协议的要求更新Internet上的服务目录并在internet上。用户要与服务的提供商取得通信就必须得到Web 服务提供者的服务接口和地址等信息，这首先必须向注册中心发出通信请求，然后通过SOAP 协议与其进行连接和绑定服务后才能进行通信。服务提供者是实现Web Service 的应用平台，也同时是Web Service提供的最终供应商。它既负有服务的、更新和回收的责任，同时它是Web Service 的拥有者，描述Web Service 的内容并将这种描述发送到服务注册中心或服务请求者；服务注册中心集合了大量在线的Web Service，在这个中心中对Web Service 进行注册。按照一般的程序来讲，服务提供者在在线服务器上安装了Web Service 之后后, 会在服务注册中心Web Service服务。

3 Web Service 下的数据挖掘

建立在分布式Web Service计算体系的这种数据挖掘系统结构的各个局部子数据挖掘模块是独立存在并作为独立的Web 服务进行注册以及的。它能够在各个不同的的系统和平台中移植，在实际的操作中有相当好的的可移植性，并且很好的协调不同平台的差异以及不同数据结构中的差异，并且在系统的用户透明性方面做得相当好，灵活的跨越防火墙和服务器进行通信和服务。这种体系结构主要包括如图1 所示的几个结构模块：

(1)用户GUI。它是作为与用户之间起到交互作用的人性化界面，这种界面根据不同的需求定制针对不同需求的用户服务，并作为结果展现的界面。

(2)全局汇总模块。它是分析处理模块，该模块将挖掘的局部数据处理的结果数据进行处理和分析，最终得到全局期望的知识表示。

(3)注册中心模块。它的主要功能是进行服务的注册和查询，从注册中心用户可以获取所需的相关服务和对自己的挖掘服务进行。

(4)对外服务模块。它是用来封装上述服务的模块，并向注册中心发起注册命令，绑定服务的请求。

(5)本地挖掘模块。它的功能是对本地数据源进行数据的挖掘，对请求者提供服务。

(6)预处理模块。它的功能基于一定规则和定义对本地数据源进行转换和抽取。

4 关联规则数据挖掘的两种算法

关联规则问题的相关理论

关联规则被描述为：设Ni （i=1,2,3...，n）是指除了能通过计算机网络传递信息之外的其他介质独立的计算机。DBi是Ni上得分事件数据库，这样总的事件数据库的数目是DB（DBi之和），总的事件数就是。并行挖掘关联规则就是通过这n个计算机同时完成数据的挖掘工作。各个计算机通过网络来通信，每个计算机这完成自己私有数据库中的数据Di,在这个数据库中按照一定的规则进行挖掘，规则就是XY，并基于以下的两个条件：sup(X∪Y)≥minsupport和sup(X∪Y)/sup(X) ≥minconfidence。（其中X∩Y= ，X Y,X I）

关联规则数据挖掘的并行挖掘算法

(1)基于分布式的CD算法。CD 算法是基于Apriori的一个简单并行化算法，它的最大优点是能在空闲的计算机上通过并行冗余计算的方式来达到减小通信量的目的，同时在速度方面表现得也相当的好，其速度能达到线性加速比的程度。CD算法是一种典型的基于分布式关联规则挖掘算法，能够在任意水平分区利用数据库分割的方式来完成并行化和并行计算。它的作用过程是每个分区单独扫描数据库并计算出支持度，各支持度经过加总若大于minsupport 则认为其是全局的。这种算法的每一次扫描结束后就建立一个同步点才能扫描下一次分区。

(2)基于动态数据集划分的并行挖掘算法。并行算法的重点就是在于平衡处理器性能、处理器任务分配量以及网速等负载因素。CD 算法使得每个处理器获得同等数目的数据集,但由于每个数据集的稠密度不同，这就使得每个处理器实际得到的任务的多少是不同的，并且未顾及处理器性能和网速的因素。基于动态数据集划分的并行挖掘算法就是先实时评估处理器的工作性能后动态地分配给工作量，从而平衡负载。

5 系统设计

基于Web Service的数据并行挖掘平台中数据集的支持度计数是由Web Service 完成的。如图2中数据挖据客户端主要是承担挖掘结果的显示、挖据任务的分配和汇总以及数据的预处理等功能，还包括用户接口和web service本地。Web Service 并行计算网络包含了很多数量的处理数据挖掘子任务的web service端。每个分布的web service端上都有一个数据挖据子任务处理功能模块，他们负责对数据子任务的挖掘工作，供Web Service 调用者调用。中间连接两端的是internet网络。

在数据挖掘的客户端中的挖掘任务的分配和汇总模块的主要任务是负责对各个数据挖掘Web Service 端的计算进行协调工作并基于Web Service 端的挖掘计算情况把数据动态的分配给各Web Service 端。同时发送根据多线程技术异步调用过的多个数据挖掘Web Service 端发送数据，其代码是：

pc = new DCD. localhost . DCDws () ;

pc1 = new DCD. localhost1. DCDws () ;

AC1 = new AsyncCallback (CallBack) ;

AC2 = new AsyncCallback (CallBack1) ;

pc. BeginGetDb (db1 ,AC1 ,null) ;

pc1. BeginGetDb (db2 ,AC2 ,null) ;

private void CallBack ( IAsyncResult assignHandle)

start Index + = number ;

Array. Copy(db , start Index , db1 , 0 , number) ;

pc. BeginGetDb (db1 ,AC1 ,null) ;

private void CallBack1 ( IAsyncResult assignHandle)

start Index + = number ;

Array. Copy(db , start Index , db2 , 0 , number) ;

pc. BeginGetDb (db2 ,AC2 ,null) ;

这种算法就是根据Web Service 端的数据挖掘能力实现了数据集的动态分配，避免了数据的过负保证了负载平衡，提高了数据的挖掘效果。

6 结语

网络化、分布式并行的数据挖掘是数据库技术的一个重要的发展方向。本文提出一种改进的并行关联规则挖掘算法，就是基于动态数据集划分的并行挖掘算法就是先实时评估处理器的工作性能后动态地分配给工作量，从而平衡负载。但随着信息技术的不断发展，分布式Web 服务的复杂性，算法中的许多细节还要需要进一步研究。

参考文献：

数据挖掘分析实验报告总结 第10篇

数据挖掘技术是近些年发展起来的一门新兴学科，它涉及到数据库和人工智能等多个领域。随着计算机技术的普及数据库产生大量数据，能够从这些大量数据中抽取出有价值信息的技术称之为数据挖掘技术。数据挖掘方法有统计学方法、关联规则挖掘、决策树方法、聚类方法等八种方法，关联规则是其中最常用的研究方法。关联规则算法是1993年由三人提出的Apriori算法，是指从海量数据中挖掘出有价值的能够揭示实体和数据项间某些隐藏的联系的有关知识，其中描述关联规则的两个重要概念分别是Suppor（t支持度）和Confi-dence（可信度）。只有当Support和Confidence两者都较高的关联规则才是有效的、需要进一步进行分析和应用的规则。

二、使用Weka进行关联挖掘

Weka的全名是怀卡托智能分析环境（WaikatoEnviron-mentforKnowledgeAnalysis），是一款免费的、非商业化的、基于JAVA环境下开源的机器学习以及数据挖掘软件[2]。它包含了许多数据挖掘的算法，是目前最完备的数据挖掘软件之一。Weka软件提供了Explorer、Experimenter、Knowledge-Flow、SimpleCLI四种模块[2]。其中Explorer是用来探索数据环境的，Experimenter是对各种实验计划进行数据测试，KnowledgeFlow和Explorer类似，但该模块通过其特殊的接口可以让使用者通过拖动的形式去创建实验方案，Simple-CLI为简单的命令行界面。以下数据挖掘任务主要用Ex-plorer模块来进行。

（一）数据预处理

数据挖掘所需要的所有数据可以由系统排序模块生成并进行下载。这里我们下载近两年的教师科研信息。为了使论文总分、学术著作总分、科研获奖总分、科研立项总分、科研总得分更有利于数据挖掘计算，在这里我们将以上得分分别确定分类属性值。

（二）数据载入

（三）关联挖掘与结果分析

WeakExplorer界面中提供了数据挖掘多种算法，在这里我们选择“Associate”标签下的Apriori算法。之后将“lowerBoundMinSupprot”（最小支持度）参数值设为，将“upperBoundMinSupprot”（最大支持度）参数值设为1，在“metiricType”的参数值选项中选择lift选项，将“minMetric”参数值设为，将“numRules”（数据集数）参数值设为10，其它选项保存默认值，这样就可以挖掘出支持度在10%到100%之间并且lift值超过且排名前10名的关联规则。其挖掘参数信息和关联挖掘的部分结果。

三、挖掘结果与应用

以上是针对教师基本情况和科研各项总分进行的反复的数据挖掘工作，从挖掘结果中找到最佳模式进行汇总。以下列出了几项作为参考的关联数据挖掘结果。

1、科研立项得分与论文、科研总得分关联度高，即科研立项为A级的论文也一定是A。这与实际也是相符的，因为科研立项得A的教师应该是主持了省级或是部级的立项的同时也参与了其他教师的科研立项，在课题研究的过程中一定会有部级论文或者省级论文进行发表来支撑立项，所以这类教师的论文得分也会很高。针对这样的结果，在今后的科研工作中，科研处要鼓励和帮助教师搞科研，为教师的科研工作提供精神上的支持和物质上的帮助，这样在很大程度上能够带动整个学校科研工作的进展。

2、副教授类的教师科研立项得分很高，而讲师类教师和助教类教师的科研立项得分很低，这样符合实际情况。因为副教授类的教师有一定的教学经验，并且很多副教授类的教师还想晋职称，所以大多数副教授类教师都会申请一些课题。而对于讲师类和助教类的教师，由于教学经验不足很少能进行省级以上的课题研究，因此这两类教师的科研立项分数不高。针对这样的结果，在今后的科研工作中，科研处可以采用一帮一、结对子的形式来帮助年轻教师，这样可以使青年教师参与到老教师的科研课题研究工作中去，在课题研究工程中提高科研能力和教学能力。

数据挖掘分析实验报告总结 第11篇

数据挖掘实训总结

简单来说，数据挖掘是基于“归纳”的思路，从大量的数据中（因为是基于归纳的思路，因此数据量的大小很大程度上决定了数据挖掘结果的鲁棒性）寻找规律，为决策提供证据。从这种角度上来说，数据挖掘可能并不适合进行科学研究，因为从本质上来说，数据挖掘这个技术是不能证明因果的，以一个最典型的例子来说，例如数据挖掘技术可以发现啤酒销量和尿布之间的关系，但是显然这两者之间紧密相关的关系可能在理论层面并没有多大的意义。不过，仅以此来否定数据挖掘的意义，显然就是对数据挖掘这项技术价值加大的抹杀，显然，数据挖掘这项技术从设计出现之初，就不是为了指导或支持理论研究的，它的重要意义在于，它在应用领域体现出了极大地优越性。

现代的商业社会中，充斥着大量的信息，如何从这些信息中迅速的定位并找到有价值的信息显然可以成为企业制胜的关键，毕竟在这个信息过载的世界里，基于多少信息所做出的决策会显著的影响决策的质量和科学性，而数据挖掘技术就使这种归纳决策得到了实现。数据挖掘可以从企业数据仓库中定位有价值的、但是并未事先被企业员工或者高层管理者知道的信息，并对这些信息进行一些基本的分析（例如聚类、回归等）。从目前的应用来看，将数据挖掘技术应用在营销或企业决策方面，管理者遵循的逻辑是“消费者过去的行为会极大的影响甚至决定未来所做出的选择”，而过往真实的数据显然就是对消费者行为最真实的记录，从中挖掘出的规律对于企业决策自然是至关重要的。

一项好的技术并不一定要面面俱到，就像数据挖掘一样，目前来说，这项技术在理论研究中应用可能并不合适，但是用于实际决策或者企业营销的过程中，显然可以令过往数据完备的企业获益匪浅

下面是个人对数据挖掘技术的认识，和大家讨论一下：

1、数据挖掘是种知识发现，是种foresight（预见性）。它不同于数据分析的就是它从大量的数据中找到信息，信息中发掘出知识，拿这个知识来指导实践。而数据分析就是insight，找到这种现象的原因。

2、数据挖掘是一个过程，需要有反馈，验证，循环往复。不要期望很快就能得到一个好的模型或结论；不要期望一下找到最优。

3、数据挖掘是任务驱动的，不合适由研发来推动。商业数据挖掘应该由市场或销售来发起，他们会发现一些最根本的问题，而这些问题往往是用“提高”或“改善”这样的语言来描述的。并且他们能提供一些经验，有效帮助研发来明确关键的特征，需要特别关注反馈的特征。描述问题，准备数据是数据挖掘的关键。

4、常用的数据挖掘方法就这么几类，模型虽然有好有坏，但是原理是一样的。建议用通用的工具，最基本的方法先对数据进行一下分析，看看哪类模型是最适合的。常用的方法是聚类(K-means)，分类(决策树)，关联分析(Apriori)。常用的工具SPSS，Minitab,SAS.

如果你要成为一名研发人员，为了数据挖掘而数据挖掘是不合适的，为了测试某个模型而去用某个模型也是不合适的，一拿到任务就定制算法更是不合适的。分析要实现什么，能实现什么需要广泛收集大家的意见，特别是做决策的。我们要比决策者更关注得到结论的过程，并要想方设法努力展现。

数据挖掘分析实验报告总结 第12篇

电子商务中的数据挖掘即Web挖掘，是利用数据挖掘技术从www的资源(即Web文档)和行为(即Web服务)中自动发现并提取感兴趣的、有用的模式和隐含的信息，它是一项综合技术，涉及到Internet技术学、人工智能等多个领域。当电子商务在企业中得到应用时，企业信息系统将产生大量数据，并且迫切需要将这些数据转换成有用的信息，为企业创造更多潜在的利润，数据挖掘概念就是从这样的商业角度开发出来的。

2Web数据挖掘的流程

Web数据挖掘是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取商业决策的关键性数据，可以使企业把数据转化为有用的信息帮助决策，从而在市场竞争中获得优势地位。在电子商务环境下，Web数据挖掘主要分为以下几步:(1)数据收集。首先数据收集主要针对web数据中的服务器数据、用户数据。其中服务器数据是Web挖掘中的主要对象。服务器中承载着用户访问时产生的对应的服务数据，其中包括了:日志文件、cookie文件、数据流。将这些数据进行初步收集，再针对这些数据进行深度分析挖掘。(2)数据选择和预处理。通过数据收集将数据进行分类，根据所需的信息主题对收集的数据进行选择，通过选择相关的数据项缩小数据处理的范围，挑选其中的有效数据进行数据预处理。数据预处理能够提高挖掘效率，为之后的数据分析提供有效的数据。Web数据中大多数都是半结构或非结构化的，所以对web数据进行直接处理是不可行的。数据预处理能够把半结构或非结构化的数据处理成标准的数据集方便后期处理。(3)模式发现。模式发现是运用各种方法，发现数据中隐藏的模式和规则。通过模式发现技术对预处理之后的数据进行处理得到相应的事务数据库，利用模式发现对数据进行初步挖掘，将预处理下的事务数据转换成可被挖掘的存储方式，通过数据挖掘模式算法对其中有效的、新奇的、有用的及最终可以理解的信息和知识进行挖掘与总结。(4)模式分析。模式分析主要是采用合适的技术和工具，对挖掘结果进行模式的分析，其目的是根据实际应用，通过观察和选择，把发现的统计结果、规则和模型转换为知识，经过筛选后来指导实际的电子商务行为。

3电子商务中的数据挖掘技术

(1)路径分析技术。路径分析主要是对web访问路径进行搜索分析，对于频繁访问的路径进行总结。利用Web服务器的日志文件进行数据分析，对访客次数以及对应路径进行分析挖掘出频繁访问路径。通过数据可以分析出大多数访问者的共同喜好，从而能够帮助电子商务改进web设计以及提供更好更符合客户的服务。(2)关联分析技术。关联技术是通过对数据进行分析寻找出隐藏的数据联系，关联分析可是对单纯的web数据与对应的电子商务进行联系。从而可以在web数据挖掘中得到该商务网站的关联原则和信息。从而更好的使得客户和网站数据有之间的相互联系。(3)聚类分析技术。聚类分析是根据对象进行数据分析了之后，对数据的信息和客户对象之间的关系进行总结。对数据对象进行分组成为多个类或簇，按照数据对象之间的相似度进行划分。(4)分类分析技术。分类分析是通过对数据库中样本数据的分析，对每个类别做出准确的描述或分析模型或挖掘分类规则。分类分析是电子商务中一个非常重要的任务，也是应用最广泛的技术。通过分类自动推导给定数据的广义描述，以便对未来数据进行预测。

4Web数据挖掘技术在电子商务中的应用

(1)制定优质个性化服务。电子商务的发展给了人们更多元化的选择，同时，电商网站经营的商品也在不断增加，在这样多元化的网站结构中想要快速找到符合自己的商品必定会是一个繁琐的过程。然而通过数据挖掘对浏览量、购买力、搜索强度进行合理应用，针对数据分析结果对网站进行制定优质的个性化服务设计，更合理的安排网站中的物品摆放，从而为用户提供更个性化的服务。(2)优化站点设计。Web设计者可通过挖掘用户的Web日志文件，对Web站点的结构和外观进行设计和修改。网站网页的内容设置直接影响网站的访问效率。网站管理员按照大多数访问者的浏览模式对网站进行组织，尽量为大多数访问者的浏览提供方便，给客户留下好的印象，增加下次访问的机率。(3)聚类客户。在电子商务中，聚类客户就是主要的运营策略，可以对客户浏览的信息等内容出发，对客户的共性进行分类，从而让电子商务的运营者能更加全面的了解客户的需要，对网页的内容进行适当的调整，并在多方面满足客户的内在需要，尽最大限度的为客户提供优质的、合适的服务。(4)营销效益分析。利用web数据挖掘对商品访问和销售情况进行有效分析，这样能够确定一些营销及消费的生命周期。再者结合目前的市场变化，针对不同的产品进行定制独特的营销策略。数据挖掘能够有助于提高电商的营销效益。

5结语

综上所述，web数据挖掘在电子商务的应用越来越广泛，web数据挖掘能够在海量数据里挖掘出有用的信息。通过数据处理把握客户动态、追踪市场变化，在激烈的市场竞争中，做出正确的决策。Web数据挖掘在电子商务领域中一定会有广阔的应用前景，它将带领电子商务系统走向更加智能化、使客户服务走向更加个性化。

参考文献:

［1］袁鸿雁．Web数据挖掘技术在电子商务中的应用研究［J］．电脑与电信，2008(3):23～24．

［2］叶小荣．WEB数据挖掘技术在电子商务中的应用研究［J］．北京电力高等专科学校学报，2008．