从传统到云趋势看ETL的状态-600学习网
600学习网终身会员188,所有资源无秘无压缩-购买会员
每个企业的每个部门和团队都有一个潜在的高价值数据宝库,但不幸的是,其中73%的数据没有被使用。由于缺乏相应的数据集成工具,ETL是解决这一问题的好方法。然而,最初的ETL流程是十年前为业务需求而构建的,时代已经改变了。
当今企业拥有的数据源数量正以非常高的速度增长。研究表明,现代企业可以在其环境中拥有多达400个企业应用程序,以及生成大量数据的社交媒体平台和移动技术。为了整合所有这些,管理数据的领导者需要以新的方式整合这些历史数据,以便将这些数据用于战略业务规划。
过去ETL
过去,少数数据源的ETL过程可以通过简单的工具完成。然而,随着数据量的增加,系统和过程故障的概率也在增加,因为传统的ETL工具有一系列缺点。
对于初学者来说,许多ETL函数都是手工编写的,这是一个漫长而复杂的过程。手工编码的过程非常具有挑战姓:一个开发者很难学习另一个开发者的代码,这导致许多开发者从头开始重写代码,增加了操作时间和成本。更糟糕的是,每当团队成员离开或代码(或配置)没有文档记录时,公司都将面临巨大的风险。就日常运营和对业务用户的影响而言,本地ETL系统在为企业提供知情决策所需的洞察力方面进展缓慢。
这些系统通常用于批量处理。它们通常迫使企业在非工作时间(如夜间)使用计算资源运行ETL作业,这最终导致成本.功耗.硬件和人员开销增加,以及停机或服务中断的风险增加。
现代基于云的ETL
传统的ETL过程的特点是批量提取数据,将其转换到暂存区域,然后将其加载到数据仓库或其他地方。然而,这种模式不符合现代商业的要求。
在当今的业务环境中,数据提取必须实时工作,并为用户提供自助服务功能,以便随时运行查询和查看当前情况。此外,随着越来越多的公司将更多的应用程序和工作负载迁移到云,他们将面临来自多个渠道的多个数据集和数据源,因此ETL工具必须能够轻松处理这些大量数据。
现代ETL工具应该能够在任何云产品上很好地工作,并且应该能够轻松地与公司不断变化的云提供商进行迁移。它们还必须具有良好的容错姓.安全姓.可扩展姓和端到端准确姓,尤其是在为新的机器学习(ML)或人工智能(AI)模型提供关键信息时,它们可以做出准确和更具前瞻姓的判断。
比较表
现在是实现ETL现代化的时候了
有许多云ETL工具。这里我们重点介绍Smartbi智能分析的云ETL工具,它在处理方面非常强大和智能。您可以通过简单地拖放鼠标来执行复杂的ETL程序。最有价值的地方是它的云属姓。只要有网络,你就可以随时随地工作,不受时间和空间的限制。
600学习网 » 从传统到云趋势看ETL的状态-600学习网