关于SQL-on-Hadoop 你需要知道的三件事

日期: 2016-04-18 作者:Jack Vaughan翻译:冯昀晖 来源:TechTarget中国 英文

Hadoop受到很多人的关注,但是大数据框架融入IT主流的步伐在减缓, Gartner公司2015年的调查显示只有十分之一的受访者将Hadoop用于生产应用。其中一项限制因素是:在其配套运行环境MapReduce中的编程复杂性。但是,新兴的SQL-on-Hadoop查询引擎为Hadoop的更广泛使用提供了新的便利。

关于SQL-on-Hadoop工具,有以下三个要点应注意:

SQL编程人员是营救Hadoop的骑兵。到目前为止,Hadoop很大程度上都依托于由掌握高级技能的程序员用java编写的MapReduce程序。但是,具备这种高级技能的程序员远不够多,而且雇佣和保留这些高级人才的成本也很高。SQL是关系数据库的标准编程语言,如果把Hadoop与SQL实现了整合,就相当于对所有开发大军和数据分析师都开放了Hadoop的使用,大多数组织都有很多熟练掌握SQL技术的人员。

批处理作业不再是唯一的用法。MapReduce只支持按预定义的时间表批量处理任务。一些SQL-on-Hadoop引擎也支持批处理,不过也有一些支持交互式的临时查询,这样就可以使用主流商业智能BI工具。工具可以帮助支持用户针对Hadoop集群中的数据做自服务BI和实时分析。

现在业界出现了很多SQL-on-Hadoop方案可供选择。大概有十几种SQL-on-Hadoop工具可以用,有的是开源的,也有一些是商业产品。这个产品队伍还在持续壮大。这些产品大部分仍不成熟,一些产品只支持部分SQL功能。因为这些产品针对于不同应用程序设计,所以关注这方面产品的用户在选择使用产品之前需要理解他们的最优使用场景。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

相关推荐