盘点 (资料)

盘点区或接地区, 是资料处理过程在萃取/转置/载入(ETL)的中介储存区。此一资料盘点区是位于资料(多个)来源和(多个)目标之间, 通常会是资料仓储, 资料超市, 或其他的资料储存库。

资料盘点区在本质上通常是暂存的, 其内容在执行 ETL 处理前, 或成功完成 ETL 处理后立即会被清除。而盘点区的架构被设计著重于延长保有资料的时间处理归档, 或排除错误。

实作

盘点区能有的实现方式是用一般资料库的资料表, 储存在档案系统中以文字展开的档案(或XML档案)或专属格式的二进制档案。 盘点区架构复杂的范围, 从目标资料库的一组单纯关联资料表, 到独立的资料库实例或档案系统。 尽管来源系统和目标系统支援的 ETL 处理, 通常是一般资料库, 但位于资料来源和目标之间的盘点区也不尽然是一般资料库。

功能

盘点区能够安排提供很多好处, 但其主要动机是用来增加 ETL 处理的效率, 确保资料完整及支持资料操作的品质。盘点区的功能包含下列各项:

整并

盘点区担任的主要功能之一, 就是整合多个来源系统的资料。执行此一功能时, 盘点区就如同是一个大型的‘桶’可暂时放置从多个来源系统的资料, 便于未来的处理。常见的是在盘点区标记资料, 利用额外诠释资料指示原版的来源, 和时间戳记指示资料何时被放置到盘点区。

一致

一致化资料包含跨多个来源系统的参考资料标准化, 以及检核来自不同来源的纪录和资料成分间的关联。 在盘点区资料的一致化, 是功能上的密切相关也是支持‘主资料管理’(Master Data Management)的能力。

减少争夺

盘点区和所支援的 ETL 处理, 其设计目标通常要能在来源系统做资源上竞争的最小化。一次性从来源拷贝需要的资料到盘点区, 常会较逐笔检索个别纪录(或小群组)要有效率。之前在技术上优势的做法, 是诸如资料串流技术, 透过减少需要中断来降低负担和重新连接到来源系统, 并优化在多人使用来源系统的并发锁定管理。然而以复制来源的资料, 接著在盘点区等待执行的集中处理与转换的 ETL 方式, 可获得比并发相关处理更好的控制。

独立调度/多目标

盘点区能在特定时间内安排好资料供给, 该资料是迳给多个目标。某些状况下, 资料可在不同时间拉入盘点区存放, 以便一次进行全部处理。举例来说, 此类状况有可能发生企业处理进行在跨时区的每个夜晚。其他情况也可能有资料被带入盘点区以便在特定时间处理; 或在盘点区推送资料到多个目标系统。例如, 每日营运资料会被推送到作业数据存储(Operational Data Store, ODS), 而相同资料也被送到以每月聚集形式的资料仓储。

变更侦测

盘点区支持根据目标系统的有效变更侦测。此功能在来源系统不支持可靠形式的变更侦测, 像是系统强制时间戳记, 变更追踪, 或者变更资料捕捉(Change Data Capture, CDC)时, 特别有用。

清理资料

资料清理包含从来源系统中辨识和移除(或更新)无效的资料。利用盘点区, ETL 处理可用来实现企业逻辑去辨别与处理 "无效的" 资料。无效资料的定义通常是业务规则与技术限制的组合。技术性约束可能外加于盘点区的结构 (诸如一般资料库中表格约束), 以强制资料的有效性规则。

汇集重算

复杂业务逻辑的汇集,复杂计算与应用的重算可在盘点区进行, 以支援高回应服务级别协议(Service Level Agreements, SLAs), 用于目标系统的汇总报表。

资料归档/问题排除

资料归档能在盘点区进行或支援。这种情境下, 在载入过程中, 盘点区可用来维护历史纪录, 或推送资料到目标下的归档结构。此外, 资料也能维护在盘点区保存更长的时间, 以利支援 ETL 处理的技术问题排除 ....