ODS层的概念主要体现

• 操作型系统的集成，用于当前、历史以及其它细节查询(业务系统的一部分)
• 为决策支持提供当前细节数据(数据仓库的一部分)

ODS是用于支持企业日常的全局应用的数据集合，ODS的数据具有面向主题、集成的、可变的以及数据是当前的或是接近当前的特点。同样也可以看出ODS是介于DB和DW之间的一种过渡存储。

值得注意的是，Kimball所说的ODS是物理落地关系型数据库中，但是在实际生产应用中，ODS往往是物理落地在数据仓库中，比如Hive。

通常来说ODS是在数据仓库中存储业务系统源数据，所以从数据粒度、数据结构、数据关系等各个方面都与业务系统的数据源保持一致。但是，也不能仅仅将ODS层看做是业务系统数据源的一个简单备份，ODS和业务系统数据源的差异主要是由于两者之间面向业务需求是不同的，业务系统是面向多并发读写同时有需要满足数据的一致性，而ODS数据通常是面向数据报表等批量数据查询需求。

关于ODS层与业务系统DB的主要区别，体现在一下几个方面：

• 数据存储方式方面。由于性能压力，业务DB需要对同一个逻辑表进行分表分库操作，而ODS会将业务系统中同一个逻辑表统一到一个物理实体中存储
• 数据存储介质方面。业务系统通常用oralce、MySQL、DB2等以事务性处理见长关系型数据库系统，ODS通常存储在以Hadoop为代表的分布式系统中，比如Hive等等。
• 数据组织形式方面。业务系统表通常需要遵循三范式，并且需要创建复杂的索引结构来提升查询效率，但是ODS层的表通常没有索引。

ODS层的数据同步通常会使用数据库直连抽取或者数据库日志抽取的方式，在设计ODS物理表时，在表命名、数据存储等方面都需要遵循一定的准则。比如：不管是表命名还是字段命名尽量和业务系统保持一致，但是需要通过额外的标识来区分增量和全量表，”_delta”来标识该表为增量表。另外，为了满足历史数据分析需求，我们需要在ODS表中加一个时间维度，这个维度通常在ODS表中作为分区字段。如果是增量存储，则可以按天为单位使用业务日期作为分区，每个分区存放日增量的业务数据。如果是全量存储，只可以按天为单位使用业务日期作为分区，每个分区存储截止到当前业务时间的全量快照数据。

（编辑：三门峡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!