您的位置:云骑士 > 科技 > 新闻 >

UNSW切换基于云的数据湖以实现AI和ML功能

时间:2020-08-11 09:50:14

新南威尔士大学(UNSW)清楚地知道,在2018年底制定数据策略时,它需要缩短将信息掌握在决策者手中的周转时间。

但是为此,该大学必须建立基于云的数据仓库,并选择将其托管在Microsoft Azure中。现在基于云的仓库与该大学的旧数据仓库一起运行,该数据库当前托管在Amazon Web Service(AWS)EC2中。

我们的旧数据仓库已有10到15年的历史了。我们开始研究什么样的平台可以让我们完成如今的所有工作,还可以让我们无缝地迁移到机器学习和AI等新事物中,UNSW首席凯特·卡鲁瑟斯在计算机科学与工程学院担任数据和洞察官,并在高级讲座中对ZDNet讲话。

UNSW切换基于云的数据湖以实现AI和ML功能

我们在AWS中进行了概念验证,并且对此的业务响应确实是积极的,但是我们进行了一项市场调查,我们意识到我们希望与Microsoft一起使用,部分原因是因为他们的数据领域非常丰富。

在扩展其基于云的数据仓库时,UNSW创建了两个数据湖。第一个重点是获取原始数据,第二个重点是存储策划的数据。

通过组织带有两个数据湖的“新世界”数据仓库,Carruthers说,生成报告的周转时间已大大缩短。

在旧世界中,仅需要三到四个月的时间才能获得原型或新报告的初版。在这里,团队能够获得招聘报告,并能够从中获取一些数据并对其进行原型制作两天之内。

Carruthers还描述了这一转变使得“安全地实现数据民主化”成为可能,因此大学可以访问数据湖中的数据来自己创建报告,这以前是不可能的。

UNSW切换基于云的数据湖以实现AI和ML功能(1)

我的团队是整个大学的报告撰稿人。这样做的全部目的是使人们感到不满,因为我们无法满足需求。我们不得不做出一些改变,因此开发这种模型,我们已经成为数据工程师而且数据分析师现在正在编写自己的报告。

同时,该大学现在能够将外部数据合并到数据仓库中,并通过策划的数据湖使之可用。

展望未来,Carruthers表示,作为大学数据战略的一部分,计划使用精选的数据来探索如何使用机器学习和人工智能来构建更多功能。例如,已经与Insight和Microsoft合作开发了机器学习概念证明,可以检查大学如何识别合同作弊行为。

Carruthers说,到明年,还计划停用该大学的旧数据仓库。

点击阅读全文

相关下载
相关视频
相关教程
最新教程