SE-DWA高效数据仓库搭建平台

SE-DWA是一整套覆盖整个数据仓库项目周期的自动化解决方案,允许您轻松的将企业零散的数据集中式管理,并通过自动化技术建立完整的企业指标库,帮助企业成为以数据驱动的智慧型企业,并且SE-DWA也是敏捷BI的具体实践。

        SE-DWA是一整套覆盖整个数据仓库项目周期的自动化解决方案,允许您轻松的将企业零散的数据集中式管理,并通过自动化技术建立完整的企业指标库,帮助企业成为以数据驱动的智慧型企业,并且SE-DWA也是敏捷BI的具体实践。

        SE-DWA众多特性:

 1、连接器和适配器

SE-DWA几乎可以连接到任何数据源并从中提取数据,

SE-DWA以插件的形式可以为一些最流行的源系统(如国内的金蝶系列ERP、用友系列ERP系统等)配备智能适配器。

这些适配器使用源系统的业务逻辑(从底层数据模型或者系统开放API)检索数据,这允许您更快和更有效地从任何源系统提取和同步数据。

AnySource连接器允许您连接到任何OLE DB或ADO数据源。

自定义数据源连接器允许您制作特定的提供程序或驱动程序,以达到对SE-DWA不支持的数据源的访问.

2、多用户

多用户意味着更多的人可以同时在同一个项目上工作和协作。

SE-DWA使用签入和签出功能,可以避免项目开发中协作冲突。

使用SE-DWA您可以跟踪谁在处理哪个项目(签入和签出),在项目中多个开发人员可以同时并行工作,极大的提升项目开发进度及质量管控。


3、版本控制

SE-DWA的自动版本控制有两个主要好处。

第一,它提供强有力的文档版本支持。

其次,它使您可以随时恢复一个项目到一个较早的时间点。每个版本的项目是唯一确定的,并记录在该项目内的所有对象的状态。

每个项目版本都包括一个时间戳,记录对所做的更改的描述,以及谁作出了这些改变。

每次创建、修改或删除对象时,都会自动生成新版本,这使得在发生错误时很容易把项目恢复到之前状态。


4、安全机制

将安全特性内置到SE-DWA系统中,您可以方便查看用户和访问权限,并启用对象级和行级安全管理。对象级安全性确保通过身份验证的用户只能访问他们被授权查看的数据、表或列,其它数据则不可见。基于行的安全性会更进一步,可以限制特定的组成员只可以访问表中特定的数据。

例如,销售人员可能只能看到与自己的相关的销售区域中的数据。


5、多环境

SE-DWA支持用于开发、测试、生产等的多个专用环境。

这确保了生产环境总是在线的,并可供最终用户使用。

它还有助于生产环境中的自动版本控制。

SE-DWA中的多环境功能提供了一个简单易用的接口,您可以在环境之间传输您的项目。

例如在开发和测试之间以及从测试和生产之间。这个功能可以确保项目中的开发迭代顺利平滑过度到生产环境。

通过使用差异部署技术,SE-DWA仅重新部署已经修改了的或者只部署新环境中所需的更改。


6 、世系和依赖分析

当怀疑数据有问题时,查找错误可能是一个繁琐的过程,但是有了SE-DWA,这个问题就变得很简单。如果您发现自己在报告中质疑某个数字或指标值,可以SE-DWA系统中使用数据沿袭(世袭)功能,通过在有问题的数据点上点击鼠标就可以追溯这个数字的来源。SE-DWA可以让你轻松回答:“我正在查看的报告的数据来源是什么?”以及“对当前分析的数据应用了哪些转换处理?”这样的机制及对这些问题的回答确保了对所分析的数据更高的信任水平,并有助于实现许多行业(包括医疗、金融、银行和制造业等)对所呈现数据的特殊监管及合规性要求。SE-DWA可以跟踪所有对象及其依赖关系,并提供数据生命周期的端到端可视化表示。



7、影响分析

任何数据集成工作的一个关键挑战是确定变更可能产生的影响。

在SE-DWA中这件事情变得相对很容易,您可以对表和字段执行影响分析,并自动识别与其相关的依赖项和潜在的影响。

例如,如果您的某一信息系统中准备将“销售额”从包含税费更改为不包括税费,则SE-DWA将自动显示所有使用了“销售金额”字段,以便您可以确定有哪些工作需要完成,并且建议您在更改前完成该工作。


8、执行引擎和机器学习

使用SE-DWA内置的智能执行引擎,您可以获得更快执行速度、更敏捷项目变更性以及被优化后性能。

并行执行允许您并行执行多个任务,而不是按顺序执行。

SE-DWA会记录每个对象的执行时间,并使用这些信息来优化执行顺序。

SE-DWA在考虑对象之间的依赖关系同时,会安排最大的任务首先执行。

在对处理日志进行自动分析的基础上,根据实际处理的数据,改进了每个负载的并行性,使得每个负载都能获得更好的性能。

因此,优化执行顺序不是仅在开始时执行一次,而是每次执行项目时都会执行顺序优化分析。这样的功能确保我们的ETL工作高效运转。


9、性能跟踪

所有执行包括最小任务的执行时间在SE-DWA中都会被保存下来,这非常有助于诊断ETL过程中某事发生变化时的原因。

例如:如果任务执行时间在上个星期内大幅增加,则SE-DWA会自动将时间与前一周进行比较。

这样,您就可以确定这样的事情是从什么时间点开始的。

通过进一步研究这个执行,您可能会发现某个特定的表突然开始需要两倍的时间来加载。

我们可以方便快速的识别它是否是瓶颈问题,或者仅仅是由于某个特定执行中数据行的急剧增加所导致的。


10、文档管理

由SE-DWA可以自动、方便的生成的健壮全面的项目文档,其以帮助您应对各种对于数据合规性要求。

只需点击一个按钮,读取整个元数据模型,并生成pdf格式的描述文件。

生成文档您查看每个对象的名称、设置、描述和代码。

SE-DWA文档包括完整的版本控制,以确保生成的文档与项目的部署版本相对应。

项目中的所有元素都可以添加注释,方便项目管理及多人协同工作。

所有生成的文档都是基于模板的超链接pdf文档,您可以根据需要随意修改。


11、增量加载

只需简单的几步就可以启用增量加载。这可以帮助您节省时间并有助于优化系统性能。

只需单击一次,就可以从解决方案中选择删除源中删除的行,或将其标记为已删除,供以后分析使用。

在ETL任务中只加载新的和更改的记录,就可以大大减少加载时间,提高系统性能,节省时间、资源、内存、带宽和CPU、磁盘、空间,方便更快更准确的决策


12、语义层

语义层建模功能可以为您提供对特定部门或目的相关的数据的轻松访问。

业务用户在自助服务环境中所面临的挑战之一是,他们并不总是理解系统术语。

因此,他们可能无法正确解释数据或真正理解报告实际要告诉他们的信息。

内置到SE-DWA的语义层建模功能解决了这个问题,通过使用用户业务相关的方式转换数据,并使用易于业务用户理解的描述来解决这个问题。


13、缓慢渐变维度管理

名称的变化、地址的变化,公司职员的来来往往,公司推出的新产品,逐步淘汰的旧产品等等诸多方面的变化。

跨时间处理维度数据是数据库设计中最棘手的问题之一,但是在SE-DWA中就会变得很容易。

实际上,它可以在几分钟内建立起来。SE-DWA完全支持缓慢变化的维度,这样您就可以准确地反映随时间或某一特定时间点发生的事情。

用于检测更改的独特优化模型使其处理缓慢渐变维度非常快速,并且是迄今为止最好的SCD实现。