数据中台架构介绍

数据中台要求全企业共用一个数据技术平台、共建数据体系、共享数据服务能力。实际上一个企业中由于各个业务线发展不均衡，各自都有独立的数据处理架构，导致共享数据非常困难，所以要构建数据中台不仅是对技术架构的改变，同时还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持。数据中台是一个企业战略行动，绝非一个项目组或者一个小团队就能做的，需要了解整个企业的业务情况，对业务进行梳理，还需要技术支撑、组织的支撑，否则很难推行下去。

一、数据中台构建方法论

数据中台的建设内容包含技术体系、数据体系、服务体系、运营体系四大体系。

  • 技术体系

技术体系是构建数据中台的基础支撑，对于技术体系而言包括两部分：大数据存储计算技术和数据中台工具技术组件。

大数据存储计算技术包含：Hadoop、Spark、Flink、Clickhouse 等技术，企业一般不会自己建设，只需要进行合理的选型即可。

数据中台工具技术包含：数据汇集、数据资产管理、平台服务管理工具等相关技术。

  • 数据体系

数据体系是指全企业的数据通过各种方式汇聚到数据中台，在数据中台中按照一定的建模方式进行加工处理，形成企业的数据资产体系。不同企业业务不同对应的数据不同，当然构建的数据体系内容也不同，但是建设的方法都是类似的。

  • 服务体系

数据中台与大数据平台最主要的区别是数据中台中数据能方便的以服务化的方式支撑业务。服务体系是通过中台的服务组件能力，把数据变为一种服务能力。例如：客户微观画像系统、信用评估服务、风险预警服务等，让数据能够方便的参与到业务中去并为业务带去价值。

  • 运营体系

运营体系是数据中台的守护者，通过运营体系保证整个中台的健康、持续运转。运营体系包含平台资源占用监控、数据质量监控、数据价值评估等，其目标是让中台持续健康运转，产生持续价值。

结合以上构架数据中台四大体系，构建数据中台可分为如下 5 个步骤,如图所示：

1）理现状

梳理企业已拥有的数据、业务特点，使用的技术，部门等企业组织形态等现状。

2）立架构

架构中包含“组织架构”、“业务架构”、“技术架构”、“应用架构”、“数据架构”。

  • 组织架构：组织架构主要是保证中台项目的顺利落地需要企业考虑的整体组织保障，其中角色主要包含：业务人员、IT 人员、供应商、相关负责人。

  • 业务架构：保证数据中台能够适用于企业业务的业务管理流程。

  • 技术架构：主要针对数据中台中数据存储、计算相关技术选型。

  • 应用架构：应用架构就是根据业务设计哪些数据服务。

3）建资产

数据资产建设包含数据汇集、数据仓库建设、数据治理、标签体系建设，其中最重要的就是标签体系建设，所谓标签体系建设就是面向具体对象构建的全维度数据标签，通过标签体系可以方便地支撑应用。

4）用数据

将通过数据中台构建的数据资产通过服务化的方式应用到具体的业务中，发挥数据价值。

5）做运营

运营主要包含数据监控审计、数据价值评估等内容，通过数据运营，让更多的人和业务感知到数据的价值。数据中台构建稳定之后，一般会循环 3~5 步骤，不断挖掘数据和业务场景的结合点。

由以上建设数据中台内容体系来看，建设数据中台除了有对应的方法论之外，还需要有对应的支撑技术、组织架构。“方法论”、“支撑技术”、“组织架构”实际上是建设数据中台的“三板斧”，缺少任何一个条件都不能建设好中台。

二、数据中台功能架构

数据中台总体架构图如下：

下面简述以上数据中台的各个部分，可以参照后续小节分析内容。

  • 数据汇集

数据汇集是数据中台数据接入的入口，所有数据来自于业务系统、日志、文件、网络等，这些数据存储在不同的网络环境和存储平台，通过数据汇集工具可以将这些数据汇集到数据中台中。

  • 数据开发

数据汇集到中台之后，数据都是按照原始状态堆砌在一起，业务无法使用，数据开发可以通过一整套数据加工及管理工具，将数据进行清洗处理。

  • 数据体系

此部分主要是大数据平台中数据仓库构建内容。

  • 数据资产管理

通过数据体系建立起来的数据资产较为偏技术，业务人员比较难理解，数据资产管理是以企业全员更好理解的方式把企业数据展现给全企业人员。数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示。

  • 数据服务体系

数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，数据服务体系是数据中台存在的价值所在。数据中台服务提供快速的服务生成能力以及服务的管控、鉴权、计量等功能。

  • 运营体系和安全管理

运营体系和安全管理是数据中台健康持续运转的基础。建设内容主要涉及企业资产管理和数据安全，使数据越用越多，越用越活。

三、数据中台技术架构

数据中台的技术架构如下：