为什么建立数据仓库需要使用ETL工具?

2019-08-15 15:17:33 SoftEasy 23

在做项目时是不是时常让客户有这样的困扰:

1、开发时间太长

2、花费太多

3、需要太多资源

4、集成多个事务系统数据总是需要大量人力成本

5、找不到合适的技能和经验的人

6、一旦建立,数据仓库无法足够迅速地应对变化

7、一直达不到客户的期望

8、业务人员很难获得数据仓库的数据

9、传统构建数据仓库费用极其可怕地保持运行后建立架构和设计不足,缺乏项目文档和团队支持

10、数据仓库有太多太复杂的工具和技术,不好分辨那个工具是实用的

11、构建数据仓库一直以来是一个高风险的任务

选择ETL工具的维度有很多都可以影响你的决策,如时间、成本、易用性、云能力、未来需求变化的应对能力等等。当有一个工具能够在同一时间解决这些困扰你的因素你会选择么?在寻找ETL工具之前其实更好的方式是总结数据仓库构建过程中真正导致失败的原因:

1.     缺乏强有力的执行团队

2.     不完整的企业级数据仓库体系结构和文档

3.     缺乏数据仓库设计思维

4.     执行团队未获知完整的需求

5.     分析过程没有及时验证原型

6.     企业级数据仓库数据库设计没有可扩展性和适应性

7.     执行团队从来没有构建数据仓库

8.     需求采集不懂业务

9.     没有专业技术团队协同开发的工具

10. 数据集成证明比预期的更困难

一个好的数据仓库解决方案可以给你节省大量时间和成本,易用性的工具可以让企业不在困扰没有足够强大的技术团队项目后期。你可能觉得在寻找一个能够轻松应对客户需求变化的ETL工具很困难,甚至可能没有这样的ETL工具可以解决这些问题。其实有技术平台可以做到,这个平台就是SEDWA高效数据仓库搭建平台。

     SEDWA高效数据仓库搭建平台就是可以解决这些困扰的数据仓库解决方案,它是《数据仓库工具箱-维度建模权威指南》一书中提到的34个子系统的具体实践。它以其创新的设计和先进的功能,可以在最短时间快速构建和管理企业的数据。

首先我们来看一下SEDWA独特的技术核心

SEDWA有众多的关键特性,这里我们先看一下其中三个主要组件:数据交换区,数据仓库和语义层。 这样分层数据架构可以让SEDWA轻松应对不同企业,更好的管理企业数据。

数据交换区作为数据管理中心,负责数据存储库管理和存储所有数据的流入和流出。 数据交换区连接所有的数据来源和收集数据不会进行清洗数据。 这允许连接日益增长和不断变化的数据来源。

数据仓库可以自由建模数据驻留在数据交换区,连同其他表的数据在本地使用,可以方便跨库取数。数据仓库可以清洗数据,保证数据质量。 这为核心优化数据分析。数据仓库还保存历史数据,进行历史数据记录的分析。

语义层建模提供简单的访问和控制相关的数据,提供给某个特定的部门或个人。 它转换数据后,业务用户可以很容易地理解和正确地解释数据。只需要定义一次语义转换的规则,然后就自动使用正确的形式和内容将数据传送到任何数据可视化工具,包括PowerBI、Tableau、Qlik等主流可视化工具。

SEDWA加快工作效率,从而节省成本!而其他工具需要大量时间手工处理工具和供应商数据集成、数据准备和文档,SEDWA是一个高效数据仓库搭建平台,利用高效数据处理节省大量的时间和金钱。让我们看一看数据仓库的主要成本。

下面列出的项目约占80%的原因,一直以来失败或超过预算或错过预定的目标。SEDWA可以轻松应对这些问题,并使实现和维护数据仓库成本降低80%,相比使用传统的数据仓库工具和技术。

1、数据仓库ETL开发包含多达70%的初始开发成本。SEDWA减少了时间来开发、测试和实施ETL高达80%。ETL的变化通常是非常耗时和昂贵的。 SEDWA允许ETL迅速而简易地进行更改。

2、SEDWA的更改数据库设计由于新的需求或范围变化是一个主要因素。 这有一个涟漪效应导致的变化,ETL、数据库和OLAP设计。采用传统的方法,这可能会导致延迟数周或数月。SEDWA任何变更只需要部署执行可以快速重新生成模型。

3、团队未能提供用户想要的东西。 这主要是由于使用传统方法所花费的时间为最终用户创建原型来验证。 SEDWA的原型和概念证明是快速、轻松地开发的。 终端用户和中软数据员工可以坐在开发一个原型在几分钟内。

4、发布新版本需要大量的时间和资源去迁移生产环境。 在这里,SEDWA,只需几次点击,差异化部署和版本控制轻松应对开发环境到测试环境,再过渡到生产环境。

5、使用传统方法保持历史数据仓库维度需要大量的开发和测试。 SEDWA可以这样做只需要点击几下。开启缓慢渐变功能,跟踪历史变化

6、大多数数据仓库缺乏全面、最新的文档。 这可能是一个严重的问题,当把新开发伙伴加入到项目。 中软数据的SEDWA提供完整的元数据字典,可以告诉你特定的数据从何而来,他的血统是什么和其他元素有什么关系。 每次修改或者添加了SEDWA数据仓库的元数据存储库更新,以反映数据仓库项目的具体状态。

大多数数据仓库项目期间没有设计维护数据仓库后期需求变更。 使用传统方法,改进和维护往往是巨大的成本。数据仓库使用技术来获得效率和改善数据仓库流程的有效性。 高效的数据仓库不仅仅是单纯的开发过程简单,易用。 它包含所有的数据仓库的核心过程,包括设计、开发、测试、部署、操作、影响分析、变更管理。