成本性能要兼得?简化Hadoop云部署有高招

日期:2016-11-15作者:Craig Stedman

【TechTarget中国原创】

对于大数据管理和分析应用程序云服务,用户的关注度正不断增长,而为了应对这一趋势,供应商已经开始努力简化Hadoop的云部署流程,并试图降低云端Hadoop的购买价格。

大数据和云计算现在对于Hadoop供应商和一些大数据技术公司来说,已经变得十分重要。这些公司正常尝试使用新方法,来简化用户部署Hadoop云系统的步骤,并降低用户的部署成本。

例如,Cloudera将计量功能加入其Cloudera Director工具中,以管理构建在Hadoop中的分布式集群。这允许Cloudera用户采用一种基于使用的定价模型,而不必以节点为单位进行支付,这让他们能够运行一些因特定目的搭建起来的临时系统,使用完后可以释放资源,从而避免成本的上升。

在单个Cloudera Director实例的大数据云环境中,用户现在可以在其中的多个区域内部署集群。此外,新版本的Cloudera Enterprise(一个基于Hadoop的大数据平台)实现了在Amazon Simple Storage Service(S3)数据存储上直接运行Apache Impala SQL-on-Hadoop 查询引擎。这使得不需要移动数据到Hadoop分布式文件系统就可以实现查询操作,这也为用户在AWS云上部署临时系统提供了便利。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者>更多

Craig Stedman
Craig Stedman

TechTarget执行编辑,主要负责商务智能和数据库网站的内容编辑,在IT技术领域具有丰富的采编经验

Hadoop>更多

相关推荐

技术手册>更多

  • SQL Server 2012商务智能手册

    在本技术手册中,TechTarget数据库与SearchBI网站编辑将为您解读SQL Server 2012的理念,分析其可视化与集成服务功能,并提供一些在大数据领域的应用见解。

  • 零售行业BI应用案例集锦

    零售行业销售点(point of sale)多、数据类型复杂、渠道广泛、数据规模巨大,变革传统BI的需求更加强烈。在这本集锦中,我们介绍了可口可乐公司、无印良品、宜家家居和乐购百货的BI应用实践。

  • Hadoop中文指南

    在大数据背景下,Apache Hadoop已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深。

  • 数据仓库最佳实践手册

    在本次的TechTarget数据库技术手册中,我们将为您带来一些有关数据仓库的最佳实践,其中包括数据仓库的评估、数据仓库管理技巧、数据仓库实施案例等内容,希望能对DBA的工作带来一定的帮助。

TechTarget

最新资源
  • 安全
  • CIO
  • SOA
  • 数据库
  • 网络
  • 云计算
【TechTarget中国原创】

对于大数据管理和分析应用程序云服务,用户的关注度正不断增长,而为了应对这一趋势,供应商已经开始努力简化Hadoop的云部署流程,并试图降低云端Hadoop的购买价格。

大数据和云计算现在对于Hadoop供应商和一些大数据技术公司来说,已经变得十分重要。这些公司正在尝试使用新方法,来简化用户部署Hadoop云系统的步骤,并降低用户的部署成本。

例如,Cloudera将计量功能加入其Cloudera Director工具中,以管理构建在Hadoop中的分布式集群。这允许Cloudera用户采用一种基于使用的定价模型,而不必以节点为单位进行支付,这让他们能够运行一些因特定目的搭建起来的临时系统,使用完后可以释放资源,从而避免成本的上升。

在单个Cloudera Director实例的大数据云环境中,用户现在可以在其中的多个区域内部署集群。此外,新版本的Cloudera Enterprise(一个基于Hadoop的大数据平台)实现了在Amazon Simple Storage Service(S3)数据存储上直接运行Apache Impala SQL-on-Hadoop 查询引擎。这使得不需要移动数据到Hadoop分布式文件系统就可以实现查询操作,这也为用户在AWS云上部署临时系统提供了便利。

按需定价以及对Impala-on-S3的支持,在Narasimhan Sampath看来是非常有用的,他是Choice Hotels International Inc.公司的系统架构师,这家公司在AWS云上运行着Cloudera-based集群,这些集群与Spark数据处理引擎和Kafka信息查询系统等技术协同工作,以支持各种自助分析应用程序。

把你的集群迁移到云上

在Strata + Hadoop World 2016会谈中,Sampath表示,Choice遵循了BYOC的方式,将自己的集群,以按需的方式部署到云环境。例如,营销部门的集群可以部署到云中,完成一项工作,然后释放资源。同样地,开发团队的集群每天运行12小时,然后在夜间关闭,以节省公司在AWS云上的投入。

Cloudera的计量定价方式非常适合这种情景,Sampath在会谈结束后说道。“我并不需要购买500个(Cloudera)许可证,除非我无时无刻都在使用这些资源。这和亚马逊的模型是一样的。”

他补充道,Choice过去六个月与Cloudera进行了十分紧密的合作,试图连接S3和Impala,Impala最初由Cloudera作为开源软件发布。Choice使用S3作为数据存储。Sampath说,Impala对新查询的支持为BYOC策略提供了额外的灵活性。

Cloudera负责云产品营销的主管David Tishgart表示,他们已经越来越乐意在客户中推广云。但直到现在,他们对临时系统也没有太好的解决方案,也不能随便增加或减少工作负载。他承认,由于这个原因,大多数Cloudera用户选择了在云中长期运行集群,而不是采取临时的方式。

追上Hadoop 云的脚步

随着越来越多的用户展示出对云的兴趣,Clouder需要与Amazon Elastic MapReduce(EMR),AWS提供的Hadoop云平台进行竞争。此外,Cloudera还发现,自己在与微软Azure HDInsight大数据云服务的竞争中也处于劣势,该平台基于Hortonworks Inc .的Hadoop的分布式环境。

根据Gartner分析师Merv Adrian所述,从用户数量的角度看,EMR已经让AWS成为了最大的Hadoop供应商。AWS最初落后于其他Apache Hadoop竞争对手,但两年前这种情况得以改变,现在AWS Hadoop用户数比其他厂商总和还要多。

Hortonworks还专注于扩展Hadoop云功能,他们表示,HDInsight现在运行着2.5版的Hortonworks数据平台(HDP)。此外,Hortonworks现在还支持Microsoft's Azure Active Directory service 和Apache Ranger的集成。(Apache Ranger是一个用来管理Hadoop数据安全性和用户访问权限的框架)

尽管与微软云环境关系密切,但Hortonworks也提供HDP的技术预览版,以便AWS用户使用Spark和Apache Hive搭建临时集群。“我们了解所有云环境上的工作负载情况,”该公司主管全球营销的高级副总裁Matt Morgan说道。

Paxata公司也开始使用云环境。这家自助服务数据准备软件的供应商提供了一个新工具,叫做Paxata Connect,它可以汇总运行在不同Hadoop集群上的数据,其中也包括独立云平台中的数据。Paxata首席产品官Nenshad Bardoliwalla说道,很多Hadoop的工作负载都已迁移到云,能够创建“临时”集群,运行特定的工作,然后释放资源,这种模式的诱惑十分巨大。