Chapter8.聚类分析什么是聚类分析?聚类分析中的数据类型主要聚类分析方法分类划分方法（Partitioning Methods）分层方法基于密度的方法基于表格的方法基于模型（Model-Based）的聚类方法异常分析总结Data Mining:Conceptsand Techniques什么是聚类分析?簇（Cluster）:一个数据对象的集合在同一个类中，对象之间0具有相似性；不同类的对象之间是相异的。

贝叶斯定理后验概率(posterioriprobabilities):P(H|X)表示条件X下H的概率.贝叶斯定理:P(H|X)=P(X|H)P(H)/P(X)朴素贝叶斯分类假定有m个类C1,…Cm,对于数据样本X,分类法将预测X属于类Ci,当且仅当P(Ci|X)>P(Cj|X),1<=j<=m,j!=i根据贝叶斯定理,P(Ci|X)=P(X|Ci)P(Ci)/P(X)由于P(X)对于所有类都是常数,只需最大化P(X|Ci)P(Ci)计算P(X|Ci),朴素贝叶斯分类假设类条件独立.即给定样本属性值相互条件独立.P(x1,…,xk|C)=P(x1|C)

第七章：分类和预测7.1什么是分类？什么是预测7.2关于分类和预测的一些问题7.3使用决策树进行分类7.4贝叶斯分类7.5（向后传播分类）带回馈的分类7.6基于关联规则的分类7.7其他分类方法7.8预测7.9分类法的准确性7.10总结DataMining:ConceptsandTechniques分类和预测分类：预测种类字段基于训练集形成一个模型，训练集中的类标签是已知的。使用该模型对新的数据进行分类预测:对连续性字段进行建模和预测。

第七章：分类和预测什么是分类？什么是预测关于分类和预测的一些问题使用决策树进行分类贝叶斯分类带回馈的分类基于关联规则的分类其他分类方法预测分类的准确率总结

概念和技术第6章：从大数据库中挖掘关联规则关联规则挖掘从交易数据库中挖掘一维的布尔形关联规则从交易数据库中挖掘多层次关联规则在交易数据库和数据仓库中挖掘多维关联规则从关联挖掘到相关性分析基于约束的关联挖掘小结数据挖掘：概念和技术多层关联规则项通常具有层次底层的项通常支持度也低某些特定层的规则可能更有意义交易数据库可以按照维或层编码可以进行共享的多维挖掘食品面包牛奶脱脂奶光明统一酸奶白黄数据挖掘

基于约束的挖掘使用约束的必要性在数据挖掘中常使用的几种约束：知识类型约束：指定要挖掘的知识类型如关联规则数据约束：指定与任务相关的数据集

第6章：挖掘大型数据库中的关联规则6.1关联规则挖掘6.2由事务数据库挖掘单维布尔关联规则6.3由事务数据库挖掘多层关联规则6.4由关系数据库和数据仓库挖掘多维关联规则6.5由关联挖掘到相关性分析6.6基于约束的关联挖掘6.7小结数据挖掘：概念和技术什么是关联挖掘?关联规则挖掘：在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性、或因果结构。应用：购物篮分析、交叉销售、产品目录设计、loss-leaderanalysis、聚集、分类等。

概念描述特征化和比较什么是概念描述?数据概化和基于汇总的特征化解析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结什么是概念描述?描述性vs.预测性数据挖掘描述性数据挖掘:预测性数据挖掘:概念描述:特征化:对所选择的数据集给出一个简单明了的描述，汇总比较:提供对于两个或多个数据集进行比较的描述概念描述和OLAP区别概念描述:能够处理复杂的数据类型和各种汇总方法更加自动化OLAP:只能限制于少量的维度和数据类型用户控制的流程特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较

**数据预处理2009年4月27日**2.1数据预处理的原因正确性（Correctness）一致性（Consistency）完整性（Completeness）可靠性（Reliability）数据质量的含义**数据错误的不可避免性数据输入和获得过程数据错误数据集成所表现出来的错误数据传输过程所引入的错误据统计有错误的数据占总数据的5%左右[Redmen],[Orr98]数据错误的危害性高昂的操作费用糟糕的决策制定组织的不信任分散管理的注意力**数据预处理的形式数据清理数据集成数据变换数据归约**2.2描述性数据汇总均值分布式度量sum()count()min()max()代数度量average()mean()加权平均截断平均减小极端值的影响整体度量中位数众数中列数(max+min)/22.2.1度量数据的中心趋势

第3章数据仓库和数据挖掘的OLAP技术本章要点数据仓库的基本概念多维数据模型数据仓库的系统结构数据仓库实现数据立方体技术的近一步发展从数据仓库到数据挖掘数据仓库的发展自从NCR公司为WalMart建立了第一个数据仓库。1996年，加拿大的IDC公司调查了62家实现了数据仓库的欧美企业，结果表明：数据仓库为企业提供了巨大的收益。早期的数据仓库大都采用当时流行的客户/服务器结构。近年来分布式对象技术飞速发展，整个数据仓库体系结构从功能上划分为若干个分布式对象，这些分布式对象不仅可以直接用于建立数据仓库，还可以在应用程序中向用户提供调用的接口。

*2008年3月数据挖掘概念与技术*第1章引言本章要点数据仓库的发展数据挖掘数据挖掘的类型数据挖掘常用技术数据挖掘解决的典型商业问题*数据仓库的发展自从NCR公司为WalMart建立了第一个数据仓库。1996年，加拿大的IDC公司调查了62家实现了数据仓库的欧美企业，结果表明：数据仓库为企业提供了巨大的收益。早期的数据仓库：大都客户/服务器结构。近年来：数据仓库体系结构从功能上划分为若干个分布式对象，可以直接用于建立数据仓库，还可以在应用程序中向用户提供调用的接口。

开始！大家好~~~~~我是这次的分享者赖志鹏，主要分享内容是BI大数据BI商业智能把商业智能看成一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供数据支持。数据仓库模型设计与业务的关系分析需求，与客户沟通需求。建模确定输入寻找数据源预处理（不一定存在）数据挖掘（不一定存在）输出结果算法手机号码中

C4.5是做什么的？C4.5 以决策树的形式构建了一个分类器。为了做到这一点，需要给定 C4.5 表达内容已分类的数据集合。 等下，什么是分类器呢？ 分类器是进行数据挖掘的一个工具，它处理大量需要进行分类的数据，并尝试预测新数据所属的类别。 举个例子吧，假定一个包含很多病人信息的数据集。我们知道每个病人的各种信息，比如年龄、脉搏、血压、最大摄氧量、家族病史等。这些叫做数据属性。 给定这些属性，我们想预测下病人是否会患癌症。病人可能会进入下面两个分类：会患癌症或者不会患癌症。 C4.5 算法会告诉我们每个病人的分类。

通常认为ETL 就是数据抽取, 转换, 加载的过程, 完全正确. 就像数据库就是存储和管理数据的工具一样, 然而数据库并不全部是数据的存储, 最重要的是管理, 即数据的并发性一致性可恢复性管理, 包括一系列的进程和内存的管理等等.ETL 工具本身也是同样的问题. 如果只是抽取转换加载, 相信通过PowerBuilder 的数据管道技术并加以封装或者一系列的语言工具编码可以做到, 并非很难的事情. 之所以思考, 是因为阅读了一下, 当然也只是粗略的看了一下, 其实所有成熟的ETL 工具都是相类似的, 都是在相互借鉴中不断的完善的结果.

数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是导数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了一定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字上就可以看到，人家已经将倒数据的过程分成3个步骤，E、T、L分别代表抽取、转换和装载。

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

Kettle工具在实际中的一些应用说明这里我就kettle工具在实际当中的一些应用做一些简单的说明，关于kettle工具的各个选项说明请参照以下文档。

Talend使用手册

Cognos10安装配置手册天善智能—专注BI商业智能和数据库性能优化想学习BI商业智能？想掌握真正的数据库技术?赶紧加入天善智能，获取天善多年来商业智能的实战文档、视频等资料

介绍（一）**FrameworkManager介绍（二）FrameworkManager給CognosReportNet提供元数据模型开发环境用FrameworkManager对来自一个或多个数据源的数据业务展现进行建模在FrameworkManager中，所创建的项目包含：一个模型名字空间数据源参数映射包**FrameworkManager介绍（三）**FrameworkManager介绍（四）**命名规范**了解数据源**设置关系标准**定义函数集默认是包含所有的数据库函数**查询主题（一）查询主题有三种类型，每个查询类似于数据库中的视图**查询主题（二）数据源查询主题**查询主题（三）模型查询主题**查询间关系（一）在查询主题上右键新建查询间关系**查询间关系