12月15日,国内领先的自动化数据管理软件提供商Aloudata(大应科技)在线举办了「NoETL!重构数据生产力」战略与产品发布会,AloudataCEO周卫林携创始团队正式发布面向未来的NoETL数据工程架构,并发布AloudataAIR逻辑数据平台、AloudataBIG主动元数据平台和AloudataCAN自动化指标平台三款颠覆性创新产品,为企业解决数字化转型中的难点、痛点提供了全新的思路与方案,并为DataFabric数据架构理念在国内的实践落地开辟了清晰的路径。活动还特别邀请了招商银行总行数据智能平台负责人张军军,分享了招商银行敏捷数据分析实践与对未来趋势的展望。
随着数智化深入各行各业,用数需求、用数人群和数据源同时爆炸性增长,这给企业的数据工程效率、成本与数据的有序管理带来了巨大挑战,周卫林将传统ETL工程的痛点归纳为“ETL鸿沟”。如何跨越鸿沟,实现数据生产力的百倍提升,数据管理亟需新思维、新架构和新技术。Aloudata开创性地提出了通过自动化手段消除人工ETL的数据工程新范式,这便是“NoETL”理念。
NoETL的核心在于转变数据生产的驱动力。传统ETL是由ETL工程师驱动,而NoETL则由ETL智能体(ETLAgent)驱动,相当于为每个企业提供一批7×24小时持续在线的ETL专家,从而实现ETL任务的“自动驾驶”。NoETL与近年关注度持续走高的DataFabric架构理念高度一致,旨在减少或者消除传统基于人工的ETL作业,通过数据管理过程的高度自动化,实现更加高效的数据交付、使用与治理,重构数据生产力。AloudataNoETL数据工程架构主要有4大特性:
1.NoPipelines:去管道,无需关心数据位置;
2.NoTasks:免运维,无需操心任务运维;
3.NoCubes:自优化,无需担心查询性能;
4.ActiveMetaData:从被动到主动,实现数据管理的“自动驾驶”。
依托NoETL数据工程架构思想,Aloudata实现了三项核心技术突破:数据虚拟化引擎、数据语义引擎与主动元数据引擎,它们带来了全新的数据集成方案、全新的数据交互界面和全新的数据管理模式,这三大技术能力构成了Aloudata产品体系的基石。
AloudataCPO肖裕洪介绍了AloudataAIR——国内首个DataFabric逻辑数据平台。它通过数据虚拟化引擎、AI增强策略引擎和主动元数据引擎,实现了多源异构数据的逻辑集成与整合、自适应数据加速、自动化数据链路编排、集中数据治理管控等功能,帮助企业轻松打通数据孤岛,10倍提升数据交付效率,并实现50%以上的存算成本节约。AloudataAIR敏捷数据准备解决方案已在招商银行落地验证,实现了全域数据的统一访问和管理,显著提升了业务效率和数据管理的灵活性,同时大幅降低存算成本与ETL团队负担。
AloudataCTO周泉介绍了AloudataBIG——全球首个实现算子级血缘解析的主动元数据平台。借助精细、准确、全面的血缘解析能力和主动元数据管理能力,AloudataBIG能够完善解决企业数据管理中“看不清”、“管不住”的难点,让数据管理过程更加自动化,轻松应对EB级别的大数据管理需求。AloudataBIG基于语义分析技术实现对SQL脚本的算子级自动解析和算子级血缘图谱构建,实现了对全域字段计算语义的精准刻画,并基于对元数据的深入分析和挖掘,为用户提供高置信的建议或设计方案。AloudataBIG已在多家大型银行获得验证,帮助客户快速定位链路异常,百倍提效模型治理,实现高效、可靠的全链路数据质量保障。
在数据集成、整合之上,企业在实际用数中也常常面临着指标管理的困境:指标口径混乱、交付效率慢、重复开发成本高、维度不灵活、解释困难等。针对上述问题,Aloudata首席业务架构师杜雪芳介绍了应用HeadlessBI理念设计的AloudataCAN自动化指标平台。该产品通过独立的指标语义层实现指标的一次定义、多处使用,真正实现指标的“定义即生产”和“管用一体”。在某证券行业客户的案例中,AloudataCAN完美解决了业务指标口径不一致的问题,指标开发周期从周缩短到分钟级,同时实现了统一数据资产的沉淀,形成了自上而下统一的用数语言。
这三大产品作为NoETL架构的具体实现,共同构成了Aloudata数据工程与管理“自动驾驶”解决方案。周卫林强调,作为一家以“NoETL重塑数据生产力”为信念的公司,Aloudata的初心和使命是让数据随时就绪、随需而用。
招商银行作为中国数字化转型领军企业之一,认为通过数据洞察提升管理和营销的精准度,让经营和服务变得精细化和个性化,是参与下一阶段数字化银行业务竞争的核动力。经过多年的探索,招商银行数字化技术与业务场景的融合逐渐进入了深水区,业务需求的灵活性给数据模型带来了空间和时间复杂度的新挑战,主要表现在报表查询和自助分析的响应速度、总分机构之间的数据交付效率、数据同步和共享时的语义一致性问题等方面。张军军介绍了招行商业智能团队携手Aloudata为应对上述挑战,共同探索实践的敏捷用数解决方案。该方案通过自助化的数据探索/准备工具和海量数据自适应加速引擎,实现数据需求交付模式的创新,并为海量数据分析提供了新思路。同时,业务化的“数据集/指标”支持跨BI工具、跨总分机构、跨业务条线的复用,有效推进企业级业务逻辑的沉淀和使用的一致性。
张军军介绍说,招商银行已经实践了一套DataFabric敏捷数据服务体系,以数据虚拟化引擎为基础,连接多源异构数据源;在此基础上,提供数据准备、分析和报表制作等工具;面向用户提供统一的数据语义服务,既能快速交付数据,又实现语义的共享。面向未来,招商银行将继续携手Aloudata探索数据分析的智能化路径,推动业务从自助式用数向智能化用数的升级。
本次发布会Aloudata全面展示的NoETL驱动的数据工程架构,依托于公司团队20年的大数据技术实践积累,并通过三款产品的商业化落地,在国内率先实现了DataFabric的最佳实践。DataFabric被Gartner列为2022年十大战略趋势技术之首,被国际公认为解决超大规模数据管理问题、充分释放数据价值的趋势方案。但该技术体系因在国内市场尚未形成清晰的认知,一度落地路径不够明确。Aloudata的产品与商业成绩代表着整个DataFabric细分领域在国内最前沿的进展,也为中国企业数智化建设未来5年的发展提供了实践经验和建设目标。
企业数智化运营的浪潮催生了更严峻的数据管理挑战,面对更复杂行业场景,作为面向未来的DataFabric数据架构理念的引领者,Aloudata将凭借先进的架构思想和技术优势,加速释放企业数据潜能,为整个行业的数据管理带来深刻的变革。
关于Aloudata
Aloudata(大应科技)是一家自动化数据管理软件提供商,国内DataFabric架构理念引领者,以“让数据随时就绪”为使命,致力于消除数据管理技术瓶颈,提升ETL工程自动化水平,助力企业平滑升级至下一代大数据基础设施。
Aloudata自主研发的AloudataAIR逻辑数据平台支持异构数据的逻辑集成、整合与查询,通过自适应物化加速和自动回收技术,实现秒级查询响应并节省50%以上的存算成本;AloudataBIG主动元数据平台,基于全球独创的算子级血缘解析技术,让复杂数据链路看得清、管得住、治得动,实现更精细更智能的数据管理;AloudataCAN自动化指标平台,改变“业务提需求IT开发”的传统模式,支持业务人员从任意颗粒度、任何维度灵活分析指标,实现指标“定义即开发、定义即服务”。