Amazon Web Services:为云数据抓取注入新的活力

日期:2016-12-21作者:Jack Vaughan

【TechTarget中国原创】

预见未来是很困难的,从Amazon Web Services history中可以略窥一二。现在,云领域的领导者们似乎准备在数据管理层面上“大做文章”。

前几年,我的工作就是预测未来。当然,使用的技术主要基于XML构建,并不像听起来那么玄妙。

XML是处理未定结构数据的基础,这在当时是一项很伟大的技术。但我想,如果我当时预见到Amazon Web Services history在XML上的应用,我就可以真的对未来有所预测。

现在,我看到了未来,那就是扩展分布式体系结构势在必行,企业必须摆脱一体机和专有软件的束缚。这在AWS re:Invent 2016大会上有所展示,那就是Amazon Web Services history,该项目始于10年前。会议上对该技术进行了重点介绍,包括一个新的数据管理和分析产品,这为AWS在云中的迅速成长创造了条件,尽管Oracle CEO Larry Ellison和其他人并不这么认为。

Web Services如何服务

虽然这种网络服务最初对数据体系结构影响不大,但事情正在发生改变。随着大数据管道的应用越来越广泛,在Amazon和其他一些地方,数据管理和分析正在改变服务体系结构。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者>更多

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

主数据管理>更多

相关推荐

技术手册>更多

  • 零售行业BI应用案例集锦

    零售行业销售点(point of sale)多、数据类型复杂、渠道广泛、数据规模巨大,变革传统BI的需求更加强烈。在这本集锦中,我们介绍了可口可乐公司、无印良品、宜家家居和乐购百货的BI应用实践。

  • SQL Server 2008新特征

    本专题主要介绍SQL Server 2008的新增特征:SQL Server 2008中的T-SQL基本对象和操作、T-SQL的函数类型和数据类型以及新的安全特性等等。

  • SSIS专题二:详解SSIS性能调试

    本专题中作者依照步骤详细介绍了如何进行SSIS的性能调整,如SSIS简化数据维护、SSIS中的错误信息、如何在SSIS中调试SSIS包等等。 

  • 数据仓库最佳实践手册

    在本次的TechTarget数据库技术手册中,我们将为您带来一些有关数据仓库的最佳实践,其中包括数据仓库的评估、数据仓库管理技巧、数据仓库实施案例等内容,希望能对DBA的工作带来一定的帮助。

TechTarget

最新资源
  • 安全
  • CIO
  • SOA
  • 数据库
  • 网络
  • 云计算
【TechTarget中国原创】

预见未来是很困难的,从Amazon Web Services history中可以略窥一二。现在,云领域的领导者们似乎准备在数据管理层面上“大做文章”。

前几年,我的工作就是预测未来。当然,使用的技术主要基于XML构建,并不像听起来那么玄妙。

XML是处理未定结构数据的基础,这在当时是一项很伟大的技术。但我想,如果我当时预见到Amazon Web Services history在XML上的应用,我就可以真的对未来有所预测。

现在,我看到了未来,那就是扩展分布式体系结构势在必行,企业必须摆脱一体机和专有软件的束缚。这在AWS re:Invent 2016大会上有所展示,那就是Amazon Web Services history,该项目始于10年前。会议上对该技术进行了重点介绍,包括一个新的数据管理和分析产品,这为AWS在云中的迅速成长创造了条件,尽管Oracle CEO Larry Ellison和其他人并不这么认为。

Web Services如何服务

虽然这种网络服务最初对数据体系结构影响不大,但事情正在发生改变。随着大数据管道的应用越来越广泛,在Amazon和其他一些地方,数据管理和分析正在改变服务体系结构。

Amazon公司的技术管理可以确保团队通过服务接口暴露正确的数据。它并不是开源软件社区的旁观者,它积极地使用HTTP RESTful服务,这成为开放源代码风格的一个标志。投入生产环境的时候,公司没有迟疑,迅速行动,使用了一个后来被称为DevOps的模式。

事实证明,REST对于云计算架构使用的大型商业计算机兼容性良好。当Amazon意识到在高度分布式计算中领域,那些领先的技术供应商有什么优势时,它就开始销售云端计算服务。

Amazon在云端取得了瞩目的成绩,并宣称今年的收入达到了138亿美元。它在不停地新增功能,其中许多新增功能开始涉及到数据管理。

云端的数据

Amazon从一些引人瞩目的领域切入,如NoSQL数据库DynamoDB和Amazon Relational Database Service。但当它在2014年发布其海量并行云数据仓库Redshift时,技术水平令人震惊。“把你的数据仓库从本地部署搬离,迁移到云中,”这种想法是划时代的。

接下来,更多技术出现。Redshift后是Aurora,一个MySQL关系数据库。Amazon公司一直在不断发展,并在最近几个月,Aurora的更新引入了基于Lambda “无服务器”的服务存储过程,并支持从Amazon Simple Storage Service (S3)进行数据摄取,此外这次更新还提供了控制台集群视图。

在最近的re:Invent会议上,Amazon发布了兼容PostgreSQL的Aurora预览版。Aurora 也加入到了Amazon Athena和AWS Glue的数据阵容中,前者可以在S3上进行即席SQL数据查询,后者提供数据编目和数据格式转换服务。

Amazon CTO Werner Vogels说, Amazon Web Services引入数据管理应对一些用户对软件的不满,比如软件无法满足他们的快速迁移请求,以及他们的扩展需求。数据管理和XML或Web服务,铺平了由数据驱动的未来。

备份“卡车数据”

在At re:Invent会议上,Vogels强调了云端数据方法的重要性。他表示,云技术可以让IT资源更加方便地访问数据,但仍然需要重点关注数据质量。

“这与以往的情况不同了,因为你可能会在数据仓库花很多钱,你会真正获得竞争优势,”Vogels说,“现在每个人都可以拥有一个数据仓库。”

同样,每个人都可以拥有一定的数据处理能力。在这种情况下,数据质量以及数据管理方式将是这些企业之间最主要的区别。

数年来,Amazon一直在将数据从IT商店迁移到云中。在re:Invent会议上,它宣布将加快这一进程。事实上,会议上Amazon推出了AWS Snowmobile的概念,用来提供EB级的数据传输。

不像我们看到Amazon送货车到处递送包裹那样,“卡车”将你的数据运载到AWS设施中,在那里转移到Amazon云中,这并不是遥不可及的事情。我相信,它将很快出现在我们面前。