关于我们 | 联系我们

火狐体育|全站app

当前位置:主页 > 新闻资讯 > 公司新闻 >

好的数据模型最终都为业务而生

本文摘要:数据模型能够促进业务与技术举行有效相同。只要基于数据举行决议及拓展业务界限,好的数据模型必不行少。那么,企业究竟该如何构建数据模型呢?9月16日,「数智·泛零售」04课,奇点云高级数据模型架构专家天启联合实践履历分享的《泛零售数据中台实施之模型设计》解答了疑惑。 01 数据中台能解决什么问题?我们用四个字总结「全、统、通、用」。全:数据中台和数据堆栈的区别,数据堆栈是满足业务需求或业务主题的;而数据中台是一个大而全的观点,为企业提供战略性的数据中台服务。

火狐app

数据模型能够促进业务与技术举行有效相同。只要基于数据举行决议及拓展业务界限,好的数据模型必不行少。那么,企业究竟该如何构建数据模型呢?9月16日,「数智·泛零售」04课,奇点云高级数据模型架构专家天启联合实践履历分享的《泛零售数据中台实施之模型设计》解答了疑惑。

01 数据中台能解决什么问题?我们用四个字总结「全、统、通、用」。全:数据中台和数据堆栈的区别,数据堆栈是满足业务需求或业务主题的;而数据中台是一个大而全的观点,为企业提供战略性的数据中台服务。数据应收尽收,所有能沉淀到数据中台的数据都收集到数据中台,包罗增量、全量、实时、离线的数据。

统:统一数据尺度规范。从数据质量尺度、宁静尺度、模型规范、开发规范统一起来形成数据资产。

通:买通人的身份ID、商品ID、前言ID,消除数据孤岛。用:体现在数据服务,用起来会有流共享、批共享及其他共享。

总结起来:「全」是基础;「统和通」是途径;「用」是最终目的,最高境界是数据驱动业务创新和厘革。数据中台=方法论+实施+工具数据中台能落地的关键点:强大的数据中台理论体系支撑+大数据实施流程体系、业务团队能力+大数据建设产物工具集。One Data方法论One Data = One Model + One ID + One ServiceOne Model:统一数据模型,规范指标、标签,消除二义性,将数据从成本中心酿成利润中心。

One ID:实体ID的唯一性,数据买通后举行数据升维,将数据从伶仃变为融通。One Service:统一数据服务,数据从已往的复制到一次开发,多次复用。02 数据模型选择思考熟悉数据堆栈的同学都相识两位大师,一位是数据堆栈之父——Bill Inmon,他提倡的顶层设计是自顶向下的,接纳三范式的设计,很是严谨可淘汰数据的冗余。

另一位是维度建模大师——Ralph Kimball,维度建模更简朴,执行起来更容易上手。顶层设计思路是自底向上的,从业务出发,从观点模型到逻辑模型再到物理模型,提倡先有数据集市,各个小的数据集市可以组成数据堆栈。这里仅枚举两种模型:星型模型与雪花模型。

星型模型是维度建模中比力经典的模型,也是现在用的较普遍的模型,星型模型是所有维度表都直接毗连到事实表上,整个图解就像星星一样。雪花模型是对星型模型的扩展。

通过三范式建模,数据冗余比力少,越发规范、严谨,更有利于保持数据的一致性。通常情况下,为了让下游能更好明白业务,快速提供数据服务,我们会选择星型模型;而在维度信息变化很是频繁,或者数据存储成本很是高的情况下,我们可以接纳雪花模型。归根到底,数据模型没有优劣之分,只有能否解决业务问题。

那泛零售企业该如何选择数据中台模型?从顶层设计、建模理论、业务场景三个大偏向思量。顶层设计:数据中台是大而全的观点,Inmon大师自顶向下的设计思路兼顾业务全局,比力切合数据中台理论。

建模理论:主要以维度建模为焦点,联合多种建模百花齐放。业务场景:如泛零售行业最主要的是「人货场」,从「人」:组织、客户;「货」:商品、服务;「场」:渠道、门店、商场等;「行为」:订单、营销、工单等思量。

One Model普遍情况下,一个大的团体可能有很多多少个大的业务板块,好比地产、金融、电商等。而一般的小公司业务比力单一的话就只分一个业务板块。

数据域是面向业务分析,将业务历程或者维度举行抽象的荟萃。业务历程是指企业的业务运动事件,如下单、支付、退款都是业务历程。维度设计是维度建模的灵魂,也是数据中台模型设计的基础,维度设计的核⼼是构建⼀致性维度。而粒度可以认为是维度的组合,如卖家和买家联合起来可以明白为两个维度,一个粒度。

03 数据模型最佳实践好的数据模型最终都为业务而生。详细来说,就是把业务抽象化,提炼成数据模型,再通过数据解决业务问题。

数据建模历程中有哪些常见问题?数据域划分:可明白,全局思量,数量适中。业务历程:是一个逻辑的观点,需与怀抱关联。一致性维度:做维度表的时候,有的公司有自己的主数据系统,但有些公司没有自己的主数据系统,需要将数据合并,因此降生了桥接表,用逻辑的维度表,底层是多张表拼凑而成,且维度表天天都在变化。明细事实表:分为多事实、单事实、无事实的事实表,许多人会误解为事实表一定要有怀抱值,但纷歧定,有的是行为的操作数据,甚至维度表和事实表之间可以相互转换,只有在粒度一致的情形下,才气将多个的事实举行合并。

数仓分层:从ODS-CDM-ADS。相识维度和粒度之间的关系, 粒度是维度的组合。数据模型历程中,有何设计心得?数据不丢失,是最重要的一点。

在ODS层的设计就需体现,要恒久保留数据。数据不重复,为保证数据治理的准确性,重复的数据需要提前剔除。模型能共享,数据集市中的模型共享容易做到,数据集市是满足业务需求的,可是数据中台的模型共享,明细事实表和维度表都需要用到,可是业务会不停举行迭代和创新,所以也可能制止不了要从原始数据中取的可能。空间换时间,为了能更大水平举行共享,可以做冗余的设计。

任务能重跑,保证后期的运维能力。业务是爸爸,所有不思量业务的数据模型都是耍流氓。纵然数据模型设计得再好,若业务模型不认可,不满足业务的数据模型都是无效的。

数据模型最终都是为业务服务的。不管是黑猫白猫,在一定的设计思想里满足之后都是可以举行创新的。04 数据模型的前沿畅想新偏向=产物化+行业化+智能化模型产物化盘货即上云:若对数据举行认真盘货,收集足够多的元数据,把表结构、字段类型、数据库类型,只要把元数据盘货完后一键导入,并可以一键生成头部任务,因此,数据开发人员只需要解决异常情况即可。

设计即开发:有了模型的设计,维度表、事实表、指标界说后,底层的代码是自动实现的,不必再担忧SQL的优化、性能调优。资产即服务:所有的数据举行模型设计后,所有的表都可以举行数据资产化,有了资产即有服务。模型行业化每个行业有显着的特点,如泛零售行业对人货场的分析比力牢固,因此建的模型牢固的部门是可以通用的。

模型智能化模型设计越来越简朴,容易上手,模型物理层的优化越来越智能,模型和智能应用联合,赋能业务。


本文关键词:好的,数据,模型,最终,都为,业务,而生,数据,火狐体育全站app

本文来源:火狐app-www.bauhauscn.com

Copyright © 2002-2021 www.bauhauscn.com. 火狐app科技 版权所有 备案号:ICP备15022485号-4