Cloudera在其数据平台中添加了数据工程和可视化

结合其虚拟Cloudera Now活动的第二天，Cloudera将在其Cloudera Data Platform(CDP)中宣布新的数据工程和数据可视化“经验” 。这些补充了今天也宣布的新的运营数据库，并且由Tony Baer在单独的文章中进行了深入介绍。

CDP已经提供了数据中心，数据仓库和机器学习组件等。现在，新组件Cloudera Data Engineering和Cloudera Data Visualization添加了ETL和BI印章。来自Cloudera的一支队伍，包括高级产品营销经理Santiago Giraldo，向ZDNet简要介绍了细节。

Cloudera Data Engineering(CDE)在这两种产品中似乎更具战略意义。Cloudera之所以将CDE推向市场，是因为它看到数据工程已经从特定业务部门中的一两个人完成的任务发展到可以为多个客户/选区提供服务的自主数据工程团队解决的面向项目的工作。在这种情况下，在笔记本中手动运行数据工程代码不会减少它。相反，需要企业部署，版本控制，调度和管理。

因此，CDE的重点是数据工程工作的那些操作方面，而不是创作这些工作。对于后者，数据工程师可以使用Apache Spark 执行引擎支持的各种语言创建脚本，并将其部署到CDE。但是Cloudera还说，某些第三方合作伙伴的ETL和数据准备平台中编写的管道也可以部署到CDE。

部署脚本或管道后，客户可以在CDP的共享数据体验(SDX)中使用CDE 计划，监视和管理作业，但是Cloudera也提供了命令行界面。CDE使用Apache Airflow安排作业运行并将其部署为Kubernetes容器。它还为部署创建REST终结点，例如，允许它们从Amazon Web Services(AWS)Lambda中运行的代码触发，可能是因为数据文件已在S3中到达。

Cloudera Data Visualization呈现的输出显示在本文顶部的图中，在CDP的Cloudera Data Warehouse和Cloudera Machine Learning中提供了可视仪表板，报告和图表功能。Cloudera技术是从2019年对Arcadia Data收购而来的，它具有Arcadia作为独立产品拥有的自然语言查询功能。