IBM数据仓库及IBM商务智能工具

第1部分 商务智能和数据仓库的基础知识

第1章 BI组织概述 3

1.1 BI组织架构概述 4

1.2 提供信息内容 8

1.2.1 信息内容的计划 9

1.2.2 信息内容的设计 12

1.2.3 信息内容的实现 13

1.3 证明BI工作的价值 16

1.3.1 项目与已知的商务需求相结合 16

1.3.2 衡量ROI 16

1.3.3 让数据仓库首次迭代最大限度地发挥作用 19

1.4 IBM和BI组织 20

1.4.1 无缝集成 21

1.4.2 简化数据传递系统 23

1.4.3 零滞后 25

1.5 小结 25

第2章 商务智能基础 27

2.1 BI组成及技术 28

2.1.1 BI组成 28

2.2 数据仓库的组成 32

2.2.1 数据抽取、转换和装载 34

2.2.2 数据管理 37

2.2.3 数据访问 37

2.2.4 元数据 38

2.3 分析化的用户要求 39

2.3.1 报告和查询 40

2.3.2 在线分析处理 40

2.3.3 数据统计 43

2.3.4 数据挖掘 43

2.4 维度技术和BI 44

2.4.1 OLAP服务器 45

2.4.2 定义空间谱 47

2.5 触点 48

2.6 零滞后和数据仓库环境 49

2.7 闭环学习 49

2.8 历史完整性 50

2.9 小结 53

第3章 设计数据仓库的迭代过程 54

3.1 设计任何的迭代 55

3.1.1 建立你自己的BI计划 57

3.2 计划初期迭代 63

3.2.1 设定数据仓库以符合公司战略 64

3.2.2 实施一个准备就绪的评估 65

3.2.3 源计划 66

3.3 用DIF矩阵选择方案 69

3.3.1 确定正确的方法 70

3.3.2 应用DIF矩阵 70

3.3.3 功能紊乱 74

3.3.4 影响力 75

3.3.5 可行性 75

3.3.6 DIF矩阵的结果 75

3.4 计划随后的迭代 78

3.4.1 确定范围 78

3.4.2 确定战略性的商务询问 79

3.5 完成项目的方法 80

3.5.1 BI骇客方法 80

3.5.2 Inmon方法 81

3.5.3 商务空间的生命周期方法 81

3.5.4 螺旋形方法 82

3.5.5 IBM方法 90

3.5.6 选择合适的方法 93

3.6 小结 93

第2部分 商务智能架构

第4章 设计数据架构 97

4.1 选择正确的架构 99

4.1.1 原子层选择 101

4.1.2 数据集市 106

4.1.3 有依赖性的数据集市的原子层 107

4.1.4 独立的数据集市 109

4.1.5 数据传输架构 110

4.2 预测传送量 114

4.3 架构建模 116

4.3.1 商务逻辑模型 117

4.3.2 原子层模型 118

4.3.3 数据集市的建模 120

4.3.4 原子和星型数据的比较 124

4.4 可操作的数据的存储 125

4.5 数据架构策略 126

4.6 小结 129

第5章 技术架构和数据管理基础 131

5.1 决定架构的技术依据 133

5.1.1 集中的数据仓库 133

5.1.2 分布式的数据仓库 137

5.1.3 并行和仓库 139

5.1.4 分区数据存储 142

5.2 数据管理的技术基础 143

5.2.1 DB2和原子层 143

5.2.2 DB2和星型模式 148

5.3 DB2技术架构的本质 150

5.3.1 SMP、MPP和簇 150

5.3.2 共享资源与无共享 152

5.3.3 静态和动态并行 154

5.3.4 目录分区 155

5.3.5 高可用性 155

5.4 尺寸需求 162

5.5 小结 164

第3部分 数据管理

第6章 DB2 BI基础 167

6.1 高可用性 168

6.1.1 MDC 168

6.1.2 在线装载 169

6.1.3 从游标处装载 170

6.1.4 减少批处理窗口 171

6.1.5 减少表重组 172

6.1.6 在线装载和物化查询表（MQT）的维护 172

6.1.7 MQT缓存表 173

6.1.8 在线表重组 173

6.1.9 动态缓冲池管理 175

6.1.10 动态数据库配置 176

6.1.11 数据库管理的存储空间 176

6.1.12 日志 177

6.2 管理 178

6.2.1 eLiza和SMART 178

6.2.2 自动健康状态的管理框架 179

6.2.3 AUTOCONFIGURE 179

6.2.4 管理通知日志 180

6.2.5 维护模式 180

6.2.6 事件监控程序 181

6.3 SQL及其他编程特性 181

6.3.1 INSTEAD OF触发器 181

6.3.2 经由UNION All 的DML操作 182

6.3.3 信息约束 183

6.3.4 用户维护的MQT 183

6.4 性能 184

6.4.1 连接集中器 184

6.4.2 压缩 185

6.4.3 Type-2索引 186

6.4.4 MDC性能改进 186

6.4.5 缓冲池的分块 187

6.5 可扩展性 187

6.5.1 空间扩展 188

6.5.2 文本扩展和文本信息扩展 188

6.5.3 图形扩展 189

6.5.4 XML扩展 189

6.5.5 视频扩展和音频扩展 190

6.5.6 网络查询扩展 190

6.5.7 MQ序列 190

6.5.8 DB2评分 191

6.6 小结 192

第7章 DB2物化查询表 193

7.1 初始化MQT 198

7.1.1 建立 198

7.1.2 泛化 198

7.1.3 调整 200

7.1.4 MQT DROP 200

7.2 MQT刷新策略 200

7.2.1 延时刷新 200

7.2.2 立即刷新 204

7.3 装载底层表格 206

7.3.1 新状态 207

7.3.2 新的LOAD选项 207

7.4 使用DB2 ALTER 210

7.5 物化视图匹配 211

7.5.1 状态考虑 212

7.5.2 匹配标准 212

7.6 MQT设计 222

7.7 MQT 调整 223

7.7.1 刷新优化 224

7.8 物化视图的限制 225

7.9 小结 228

第4部分 数据仓库管理

第8 章 利用IBM DB2 Data Warehouse Center管理数据仓库 231

8.1 IBM DB2 Data Warehouse Center的关键特征 232

8.1.1 仓库主题区 232

8.1.2 仓库源 232

8.1.3 仓库目标 232

8.1.4 仓库服务器和日志 233

8.1.5 仓库代理程序和代理点 233

8.1.6 仓库控制数据库 234

8.1.7 仓库过程和步骤 234

8.2 IBM DB2 Data Warehouse Center向导（launchpad） 237

8.2.1 设置数据仓库环境 238

8.2.2 使用向导创建一个数据仓库 240

8.2.3 在目标表中定义关键字 250

8.2.4 维护数据仓库 250

8.2.5 仓库的授权用户 251

8.2.6 为用户编写仓库对象目录 251

8.3 过程和步骤的任务流控制 252

8.3.1 计划 253

8.3.2 通知数据管理员 255

8.3.3 计划一个过程 256

8.3.4 在IBM DB2 Data Warehouse Center之外触发步骤 260

8.4 IBM DB2 Data Warehouse Center监视战略 262

8.4.1 IBM DB2 Data Warehouse Center监视工具 262

8.4.2 DB2监视工具 271

8.4.3 Replication Center监视 272

8.5 仓库调整 274

8.5.1 更新统计数据 274

8.5.2 重组数据 275

8.5.3 使用DB2快照和监视器 275

8.5.4 使用可视化解释 276

8.5.5 调整数据库性能 278

8.6 维护IBM DB2 Data Warehouse Center 278

8.6.1 日志历史 279

8.6.2 控制数据库 279

8.7 DB2 Data Warehouse Center V8新增内容 279

8.8 小结 282

第9章 在IBM DB2 Data Warehouse Center中进行数据变换 283

9.1 IBM DB2 Data Warehouse Center过程模型 286

9.1.1 确定数据源和目标 286

9.1.2 确定变换 288

9.1.3 过程模型 290

9.2 IBM DB2 Data Warehouse Center 变换 292

9.2.1 刷新问题 294

9.2.2 数据量 295

9.2.3 管理数据版本 296

9.2.4 用户定义的变换要求 296

9.2.5 多个表的装载 296

9.2.6 保证数据仓库中的数据是最新的 297

9.2.7 重试 301

9.3 SQL变换步骤 301

9.3.1 SQL选择（Select）和插入（Insert） 303

9.3.2 SQL选择（Select）和更新（Update） 304

9.4 DB2实用程序 305

9.4.1 导出实用程序的步骤 305

9.4.2 装载实用程序的步骤 306

9.5 数据仓库变换程序 308

9.5.1 清洗变换程序 308

9.5.2 产生关键字表格 310

9.5.3 建立周期表 312

9.5.4 倒转数据变换 314

9.5.5 转动数据 316

9.5.6 日期格式改变 319

9.5.7 统计变换程序 320

9.6 数据复制 336

9.6.1 建立复制步骤 338

9.6.2 在IBM DB2 Data Warehouse Center中定义复制步骤 341

9.7 MQSeries集成 347

9.7.1 对固定长度或定界格式的MQSeries信息的存取 348

9.7.2 使用DB2 MQSeries视图 350

9.7.3 存取XML MQSeries信息 351

9.8 用户自定义的程序步骤 353

9.9 卖方集成 355

9.9.1 ETI·EXTRACT集成 356

9.9.2 Trillium集成 364

9.9.3 Ascential INTEGRITY 366

9.10 Microsoft OLE DB以及Data Transformation Services 367

9.10.1 存取OLE DB 368

9.10.2 存取DTS包 369

9.11 小结 369

第10章 元数据和IBM DB2仓库管理器 371

10.1 什么是元数据 371

10.2 元数据分类 374

10.2.1 按用户类型分类 374

10.2.2 按来源的正式程度分类 375

10.2.3 按所使用环境分类 376

10.3 什么是元数据知识库 376

10.4 供给元数据知识库 377

10.5 元数据和元数据知识库的优势 378

10.6 健康元数据知识库的特征 379

10.7 维护知识库 380

10.8 实施元数据知识库的难点 381

10.9 IBM元数据技术 382

10.9.1 信息目录 382

10.9.2 IBM DB2 Data Warehouse Center 382

10.10 由DWC获取元数据 384

10.10.1 从ETI·EXTRACT中收集元数据 385

10.10.2 从INTEGRITY中收集元数据 390

10.10.3 从DataStage中收集元数据 393

10.10.4 从ERwin中收集元数据 395

10.10.5 从Axio中收集元数据 397

10.10.6 从IBM OLAP集成服务器中收集元数据 398

10.11 在IBM DB2 Data Warehouse Center实例之间交换元数据 401

10.11.1 维护测试和产品系统 401

10.11.2 元数据交换格式 402

10.12 DWC元数据到其他工具的传送 405

10.12.1 到IBM 信息目录的DWC元数据传送 406

10.12.2 到OLAP集成服务器的DWC元数据传送 408

10.12.3 到IBM DB2 OLAP Server的DWC元数据传送 410

10.12.4 到Ascential INTEGRITY的DWC元数据传送 410

10.13 把元数据从信息目录中传入或传出 411

10.13.1 由信息目录获取元数据 412

10.13.2 信息目录元数据传送 421

10.13.3 向其他信息目录传送元数据 421

10.13.4 启动Brio访问信息目录元数据 422

10.13.5 把信息目录元数据传送到商业对象 423

10.13.6 把信息目录元数据传送到Cognos 423

10.14 小结 424

第5部分 OLAP和IBM

第11章 多维数据和DB2 OLAP Server 427

11.1 理解OLAP的分析周期 432

11.2 产生有效的度量 433

11.3 OLAP 技能 435

11.4 应用多维模型 437

11.4.1 用OLAP指导你的组织 437

11.4.2 思维速度分析 438

11.5 商务轮廓 438

11.6 OLAP阵列 442

11.6.1 关系型模式的局限 443

11.6.2 衍生的测量 444

11.7 实现企业的OLAP架构 445

11.8 原型化（prototyping）数据仓库 447

11.8.1 数据库设计：建立轮廓 448

11.8.2 支持需求 455

11.9 DB2 OLAP 矩阵数据库 455

11.9.1 关于块的建立 457

11.9.2 矩阵的膨胀 458

11.10 DB2 OLAP Server大小需求 458

11.10.1 DB2 OLAP Server存储什么 459

11.10.2 使用SET MSG ONLY: 版本8之前的估计 460

11.10.3 什么是典型数据 460

11.10.4 DB2 OLAP Server V8.0的大小估计 461

11.11 数据库调整 462

11.11.1 数据库调整的目标 463

11.11.2 轮廓调整的要素 463

11.11.3 批量计算和数据存储 464

11.11.4 成员标签和动态计算 464

11.11.5 磁盘子系统的应用和数据库文件的配置 466

11.11.6 数据库分区 466

11.11.7 属性维 467

11.12 估计硬件的需求 468

11.12.1 CPU 估计 470

11.12.2 磁盘估计 471

11.12.3 OLAP辅助存储需求 471

11.13 OLAP 备份和灾难恢复 472

11.14 小结 473

第12章 OLAP和IBM DB2 Data Warehouse Center 474

12.1 IBM DB2 Data Warehouse Center的步骤类型 475

12.2 将OLAP加入过程 476

12.2.1 OLAP Server的主页 478

12.2.2 OLAP Server列映射页 478

12.2.3 OLAP Server程序过程选项 478

12.2.4 其他考虑 479

12.3 OLAP Server 装载规则 479

12.3.1 自由文本数据装载 480

12.3.2 使用装载规则的文件装载 481

12.3.3 不使用装载规则的文件装载 482

12.3.4 使用装载规则的SQL表 483

12.4 OLAP Server计算 484

12.4.1 默认计算 484

12.4.2 使用计算规则的计算 485

12.5 更新OLAP Server轮廓 486

12.5.1 使用文件 486

12.5.2 使用SQL表 488

12.6 小结 489

第13章 DB2 OLAP函数 490

13.1 OLAP函数 491

13.1.1 具体函数 493

13.2 GROUPING功能：ROLLUP和CUBE 496

13.2.1 ROLLUP 497

13.2.2 CUBE 498

13.3 评级、定位和聚集 499

13.3.1 RANK举例 500

13.3.2 ROW_NUMBER，RANK和DENSE_RANK 举例 501

13.3.3 RANK和PARTITION 及举例 502

13.3.4 OVER 语句举例 503

13.3.5 ROWS和ORDER BY及举例 505

13.3.6 ROWS, RANGE及ORDER BY 举例 506

13.4 GROUPING，GROUP BY，ROLLUP和CUBE 508

13.4.1 GROUPING, GROUP BY和CUBE例子 508

13.4.2 ROLLUP 举例 509

13.4.3 CUBE举例 513

13.5 OLAP函数应用 516

13.5.1 提供按地区和城市的年度销售额 517

13.5.2 为一个活动确定目标群组 518

13.6 小结 522

第6部分 高级分析

第14章 带智能挖掘器的数据挖掘 527

14.1 数据挖掘和BI组织 528

14.1.1 有效的数据挖掘 532

14.2 挖掘过程 533

14.2.1 步骤1：对一个商务问题进行精确的定义 535

14.2.2 步骤2：商务问题到数据模型和数据需求的映射 537

14.2.3 步骤3：源和预处理数据 538

14.2.4 步骤4：考察和评估数据 539

14.2.5 步骤5：选择数据挖掘技术 540

14.2.6 步骤6：分析结果 541

14.2.7 步骤7：运用结果 542

14.3 集成数据挖掘 543

14.4 实施数据挖掘工程的技术 544

14.5 数据挖掘的好处 545

14.5.1 数据质量 545

14.5.2 相关维度 546

14.5.3 在OLAP中使用挖掘结果 547

14.6 挖掘DB2 OLAP Server的好处 548

14.7 小结 549

第15章 DB2——增强的BI特征和函数 550

15.1 DB2分析函数 551

15.1.1 AVG 551

15.1.2 CORRELATION 552

15.1.3 COUNT 552

15.1.4 COUNT_BIG 552

15.1.5 COVARIANCE 553

15.1.6 MAX 553

15.1.7 MIN 554

15.1.8 RAND 554

15.1.9 STDDEV 555

15.1.10 SUM 555

15.1.11 VARIANCE 555

15.1.12 回归函数 556

15.1.13 COVAR, CORR, VAR, STDDEV及回归举例 559

15.2 以BI为中心的函数举例 565

15.2.1 使用样本数据 565

15.2.2 列举出地区今年领先的五个销售人员 568

15.2.3 确定产品购买之间的关系 569

15.3 小结 571

第16章 向数据仓库中添加空间数据 572

16.1 空间分析和BI组织 573

16.2 空间的影响 576

16.3 什么是空间数据 578

16.3.1 洋葱类比 579

16.3.2 空间数据结构 579

16.3.3 空间数据与其他图形数据的比较 581

16.4 获取空间数据 582

16.4.1 建立自己的空间数据 582

16.4.2 引进空间数据 583

16.5 DSS中的空间数据 585

16.6 空间分析和数据挖掘 586

16.7 空间分析的提供 588

16.7.1 针对数据仓库的典型商务问题 590

16.8 理解一个具有空间性能的数据仓库 594

16.8.1 地址编码 595

16.8.2 空间数据仓库的技术需求 596

16.8.3 将空间数据加入数据仓库 598

16.9 小结 599