加入收藏 | 设为首页 | 会员中心 | 我要投稿 三门峡站长网 (https://www.0398zz.com.cn/)- 云连接、设备管理、智能边缘云、云防火墙、数据加密!
当前位置: 首页 > 站长资讯 > 动态 > 正文

常用缓慢变化维的处理方式

发布时间:2021-05-04 12:56:53 所属栏目:动态 来源:互联网
导读:常见的方式是使用快照来处理缓慢变化维。离线数仓按T+1计算,处理维度变化的方式就是每天一份全量快照。比如商品维度,每天保留一份全量商品快照数据。任意一天的事实均可以取到当天的商品信息,也可以取到最新的商品信息,通过限定日期,采用自然键进行关联

常见的方式是使用快照来处理缓慢变化维。离线数仓按T+1计算,处理维度变化的方式就是每天一份全量快照。比如商品维度,每天保留一份全量商品快照数据。任意一天的事实均可以取到当天的商品信息,也可以取到最新的商品信息,通过限定日期,采用自然键进行关联即可。

此方式的优势是简单而有效,开发和维护成本低,另外使用方便,理解性好。数据使用方只需要限定日期即可取到当天的快照数据。任意一天的事实快照和任意一天的维度快照通过维度的自然键进行关联即可。主要的缺点就是会造成存储资源的浪费,由于存储成本远低于CPU、内存等成本,此方法总体来说弊大于利。

制规范

达成共识

对于数仓开发规范,务必要执行到位,确保大家能够达成一致的理解与认可。只有按照规范操作,才不至于使数仓最终变得越来越臃肿,越来越低效。关于规范的制定,需要经过团队人员的一致认可,具有可操作性,切不可畏手畏脚地被规范束缚,影响开发效率。

表命名规范

  • ODS层表命名规范 比如全量表:ods.s{源系统表名} 比如增量表:ods.s{源系统表名}_delta
  • DIM/DWD层表命名规范 比如全量表:dwd_{数据域缩写}{自定义表命名}df 比如增量表:dwd{数据域缩写}{自定义表命名}_di 比如维表:dim[{业务域缩写}]{自定义表命名}
  • DWS层表命名规范 dws_{数据域缩写}{维度缩写}{自定义表命名}{数字}_{d/m/y,分别表示天、月、年}

最近一天 1d 最近N天 (N)d ---N代表是一个数字 最近30天 1m 最近7天 1w 最近365天 1y 周累计至今 wtd ----周报周(周六至周五) 月初累计至今 mtd 累计至今 td

  • ADS层表命名 比如:ads_{数据域}{统计粒度}[{业务限定}][{自定义命名标签}]{统计周期}

关于表的命名需要根据具体团队的约定,一般见名知意即可,一旦规定了具体的格式,就尽量统一风格

(编辑:三门峡站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读