Hadoop生态系统中的容器和微服务 玩出哪些新花样?

日期:2016-11-29作者:Jack Vaughan翻译:冯昀晖来源:TechTarget中国 英文

Hadoop   云计算   大数据   

【TechTarget中国原创】

最近大多数大数据应用都部署在裸设备上,这意味着Hadoop大多数部署在非虚拟化服务器上。随着容器和微服务对应用开发圈产生影响,这种情况在发生改变。

容器和微服务都把整个应用程序的代码细分成更小粒度的片段。这样不仅简化了开发,而且更容易测试,这也是设计更灵活应用程序部署方案和代码复用的关键。

早期的时候,这种技术就应用于大数据领域,但是现在看起来在数据流处理、微服务这类领域应用也很有前途。欧洲某顶级电子商务公司的一位技术经理认为,微服务方法简化了开发工作,增强了代码复用能力。

Otto GmbH公司是一家多渠道零售商(产品包括高级铸件以及熔铸设备和半成品工业设备),总部位于德国汉堡。Rupert Steffner是该公司商业智能系统首席平台架构师,他说:“使用微服务方法是非常经济的做法。对于有些类型的应用,忽略微服务的方式是不明智的。你会一遍又一遍地开发相同的功能。”

Steffner谈到的这种类型应用是许多人工智能机器人在公司在线零售网站上运行着各种实时分析任务。Otto使用了微服务整合Docker容器和流处理技术来增强这些AI机器人的功能。

容器和微服务

云计算是推动Hadoop、Spark和其它大数据技术走向虚拟化的主要力量。不过仍然有很多基础设施在云之外构建,各公司都在努力用技术缓解这种演变。

Tom Phelan是BluData软件公司联合创始人和首席架构师,该公司设计的平台可以自动配置Hadoop或Spark集群。他说:“Hadoop大多数运行在裸设备上,不过它也可以运行在虚拟机上。例如,Amazon云和Azure云都使用了OpenStack。现在Hadoop要转向容器了。”

他说:“以前认为Hadoop集群部署在裸设备上性能更优,但现在看来不一定了。”容器需要变得更成熟,而且Hadoop本身设计并不是针对微服务风格的架构。BlueData公司最近更新软件提升了对容器的支持,推出了自动Kerberos配置Hadoop集群和Linux特权访问管理工具。

Hadoop发行版供应商MapR技术公司一位经理表示,敏捷性和流处理也是微服务获益的驱动力。Jack Norris是MapR公司数据和应用高级副总裁,他说客户构建机器人需要有快速适应数据的能力并具备机器学习模型。

他表示,在“事件驱动”架构的应用程序中这一点尤为明显。这种架构越来越多的包含了数据流处理组件。

Norris说,Hadoop和Spark应用流变得越来越复杂,他们变得更难升级了。但是,他认为微服务只是关注数据管道中的事件,这会给这种开发带来更多灵活性。这是与原始Hadoop开发风格相比最根本的变化。

Norris说:“我们看到了开放更宽泛应用程序集的需求。”与此同时,他承诺MapR公司将继续支持现有整块应用程序的风格。

上个月,MapR公司对于大数据应用微服务做了深入实践,为应用程序版本控制提供微服务专用卷,为机器学习模型AB测试设计专用微服务。另外,Norris表示,他们设计了新的参考架构用来指导开发人员利用微服务聚合流数据和实时分析应用。

AI机器人监视“只逛不买”的购物车

随着大数据处理任务变得更复杂,加上相关组件都支持精确的数据流,微系统方法的应用越来越广泛了。Otto公司的Steffner认为,微系统提供了典型的“各个击破”手段来满足架构需求。

上个月在纽约举办的Strata+Hadoop 2016年世界大会上,Steffner表示,Otto公司数据架构中的每个AI机器人都处理特定任务。例如,一个AI机器人查找欺诈交易;另一个针对实时广告位分析建模;还有一个检查空的在线购物车,并对未购买任何商品就打算离开的客户推送最后一轮促销产品。

该公司通过基于Docker的微系统架构实现以上功能,该架构是2015年四月上线的,那时候该公司已经部署传统大数据平台两年了,不过并没有满足全部需求。

Docker容器也非常适合机器人软件。Otto公司在后台安装了混合开源流处理引擎,包括Storm、Spark流处理、Flink和Ignite。不过Steffner说,Ignite是内存数据组织技术,最初是由GridGain系统公司开发的,用来处理当前环境中的批量实时处理工作。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者>更多

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

Hadoop>更多

相关推荐

技术手册>更多

  • SSIS专题二:详解SSIS性能调试

    本专题中作者依照步骤详细介绍了如何进行SSIS的性能调整,如SSIS简化数据维护、SSIS中的错误信息、如何在SSIS中调试SSIS包等等。 

  • 预测分析与数据挖掘集锦

    数据挖掘、预测分析以及相关业务建模技术几乎完全是由高技能高工资的统计学家、数学家和定量分析师所使用。但随着商务智能和分析厂商提供更方便用户使用的预测分析工具,这一情况正在发生变化。

  • 主数据管理(MDM)应用指南

    随着业务发展以及监管的需要,企业对主数据的实时性、准确性、一致性有了更高的要求,主数据管理(Master Data Management ,MDM)也应运而生。

  • 医疗行业BI应用案例集锦

    本次技术手册汇总了医疗行业BI用例,包括Oracle EBS部署、惠普Vertica分析平台使用、数据库虚拟化技术、大数据分析技术、物联网技术等。

TechTarget

最新资源
  • 安全
  • CIO
  • SOA
  • 数据库
  • 网络
  • 云计算