Kettle培训内容Kettle功能与产品介绍Kettle控件介绍Kettle案例演示Kettle调度Kettle介绍Kettle是一款开源的、元数据驱动的ETL工具集，是开源ETL工具里功能比较强大的一个。Kettle是”KettleE.T.T.L.Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL需要：抽取、转换、装入和加载数据； Kettl

概述想要做个成功的数据处理项目，那么ETL的每个环节都做到风险把关就将是必须的。将环节自身的质量与衔接做到准确与流畅，各个环节间做到有始有终,并且能够承上启下，如果能做到这点，纵使是个别环节出现纰漏，那么无论是错误的发现，错误的修改都会高效与快速。开始前的准备准备的关隘在于你要在你思想的转换。一个数据处理项目从何开始？应该是从一个问题开始，可能是业务的需求。例如集团的对经营状态精细化管控所必须的精细化数据支持，企业发展过程中成长遇到瓶颈对最优突破瓶颈的方式的探索，乃至一个纯粹的对IT历史垃圾数据的一个清理整合的目的。

由于PentahoBI平台自带的HSQLDB数据库只能用于演示，而真正用于生产环境我们必须将PentahoBI服务器的资料库迁移到Oracle、Mysql等数据库（目前Pentaho支持Oracle、Mysql、PostgreSQL等主流数据库）。

根据官方文档搭建Pentaho平台源码所作修改

商业智能又名商务智能，英文为Business Intelligence，简写为BI。 商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。为了将数据转化为知识，需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。

在项目组的安排下，在这一个多月里的时间里我将主要的精力放在了pentahoBI套件的学习与示例开发上。简单的总结一下，这段时间我主要做了以下几个事情：1.下载和安装了Pentaho BI平台、数据加工王者—kettle、Action Sequence的开发工具Pentaho Design Studio、Pentaho报表工具Pentaho Report Designer;2.学习和了解了商业智能发展动向和趋势；3.学习和掌握了Pentaho BI平台的配置；4.掌握了Kettle的一些基本组件，会用kettle开发不是太复杂的job和转换；5.Action Sequence部分组件的学习，会用Pentaho Design Studio开发基本的Action Sequence；6.掌握了Pentaho Report Designer开发一般需求的报表；7.学习和了解了数据仓库的一些基本概念；8.学习了数据仓库设计的一些理论知识；9.完成了广物仓储系统数据仓库的demo设计；10.利用kettle完成了库存查询数据仓库维度表和事实表的数据抽取。

一、datastage介绍二、如何安装datastage三、配置datastage工程四、设计并运行datastage的job五、操作元数据六、定义查找使用的哈希文件七、job的运行及调试一，datastage的介绍本章主要讲解ETL的概念，datastage的介绍、组成及主要功能。ETL概要ETL包括数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。一般而言，这三个过程中有二次落地（生成中间文件）。

Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。此产品为满足企业级要求而设计，可以提供企业部门的数据和电子商务数据源之间的集成，如XML，网站日志，关系型数据，主机和遗留系统等数据源。此平台性能可以满足企业分析最严格的要求。

Informatica整理组件

Informatica PowerCenter 7.1 简易使用手册

1、 本安装手册描述适用于Greenplum4.0以上版本的安装操作，4.0以下版本安装步骤存在差异。 2、 本安装手册所涉及到的操作系统相关参数调整，主要针对Redhat Linux操作系统，其他操作系统（如：SUSE、Solaris等）参数配置上会存在差异，后续逐步补充完善。

本规范定义了BIS COE部门在进行ETL开发以及调度开发过程中应遵守的设计、开发准则或建议，以便尽量统一部门的编码风格，提高部门输出代码的可读性、健壮性和可维护性。本规范适用于BIS COE部门成员使用PL/SQL和DataStage进行ETL程序开发以及进行调度开发的过程。

术本文研究的数据仓库迁移方案以某保险集团的数据仓库迁移为例，概述了数据迁移的技术和步骤，以及异构数据仓库之间进行数据迁移所存在的问题和解决方法。保险企业对数据仓库的迁移，主要有两方面的原因。一方面是将数据仓库的元数据（技术元数据与业务元数据）迁移到性能更加优越的平台上，另一方面是为了规范和优化物理模型、程序等。

数据挖掘原理与SPSS Clementine应用宝典。本章所述的现实对象、研究对象、实际问题等均指原型。模型则是为了某个特定目的将原型的某部分简缩、提炼而构造的原型替代物。16.1.2模式与模型模式（Pattern）其实就是解决某一类问题的方法论，把解决某类问题的方法总结归纳到理论高度，就是模式。模型（Model）就是封装数据和所有基于对这些数据的操作，是对现实世界中过程的抽象描述。

数据挖掘原理与SPSS Clementine应用宝典。 第十三章遗传算法本章内容1.遗传算法概述2.基本遗传算法3.改进遗传算法4.基于遗传算法的数据挖掘5.基因表达式编程遗传算法概述-模式定理模式定理是遗传算法的理论基础，它的定义如下：模式定理(Schematheorem)：在遗传算子选择，交叉和变异的作用下，具有低阶，短定义距以及平均适应度高于群体平均适应度的模式在子代中将得以指数级增长。

数据挖掘原理与SPSS Clementine应用宝典。第9章　决策树算法第9章决策树算法第9章　决策树算法本章大纲：决策树算法原理常用决策树算法决策树剪枝由决策树提取分类规则应用实例分析第9章　决策树算法

Kettle工程存储方式有两种：一种是以XML形式存储，一种是以资源库方式存储。 Kettle中有两类设计分别是：Transformation（转换）与Job（作业），Transformation完成针对数据的基础转换，Job则完成整个工作流的控制。 Kettle常用三大家族：Spoon、Pan、Kitchen。 Spoon:通过图形界面方式设计、运行、调试Job与Transformation。

提纲数据仓库概念数据仓库体系结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）数据仓库概念基本概念对数据仓库的一些误解基本概念—数据仓库

数据仓库与数据挖掘原理及应用东华理工大学理学院刘爱华目录数据仓库基础7.分类和预测数据仓库设计和实现8.关联分析数据仓库实例9.Web挖掘OLAP和OLAM10.数据挖掘实例5.数据挖掘基础11.知识聚类分析12.语义网和本体1数据仓库基础1.1引言1.2体系结构1.3组成1.4元数据1.5数据粒度1.6数据模型1.7ETL1.1引言数据仓库定义数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。此定义由最为权威的、被称为“数据仓库之父”的WilliamH.Inmon先生给出。

国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.   不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。