你的分析架构是否足以支持可扩展工具?

日期: 2016-09-26 作者:Ed Burns翻译:杨宏玉 来源:TechTarget中国 英文

分析团队可能愿意花更多的时间去开发算法,但是如果忽视分析架构的重要性,可能会引发其他问题。 数据科学家和分析师的工作中有一半时间是在制定分析报告或开发分析模型。而他们剩下的工作则是帮助业务领域的人真正地去使用他们开发的分析产品。 即使他们紧紧抓住了这些重点,但还是会出现问题。

如果在前期没有考虑分析架构的可伸缩性,那在随后的使用中,数据工具就可能会产生故障,这些故障将会降低可用性,给业务领域人员留下十分不好的印象。 这是来自Cox Automotive Media Group的经验,该团队在三年前部署了一个Hadoop集群。最近在拉斯维加斯举办的SAS Analytics Experience会……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

分析团队可能愿意花更多的时间去开发算法,但是如果忽视分析架构的重要性,可能会引发其他问题。

数据科学家和分析师的工作中有一半时间是在制定分析报告或开发分析模型。而他们剩下的工作则是帮助业务领域的人真正地去使用他们开发的分析产品。

即使他们紧紧抓住了这些重点,但还是会出现问题。如果在前期没有考虑分析架构的可伸缩性,那在随后的使用中,数据工具就可能会产生故障,这些故障将会降低可用性,给业务领域人员留下十分不好的印象。

这是来自Cox Automotive Media Group的经验,该团队在三年前部署了一个Hadoop集群。最近在拉斯维加斯举办的SAS Analytics Experience会议上,该公司负责决策科学和评估的副总裁Shawn Hushman表示,Cox正在使用IBM Netezza作为分析数据库,但最终却显得力不从心。

“我们正在运行SQL查询,运行了整整三天,但最终以失败告终,”他说道。问题在于,这些工作负载超出了数据库的处理能力,但出于设备成本的考虑,我们无法增加基础设施。基本数据管理过程占用了所有的计算资源,这造成分析查询无资源可用的情况。

分析师没必要担心数据处理过程

Hushman和他的团队已经实现了一个Hadoop集群,用来完成所有的数据处理任务,获取并储存数据。此外还有一个单独SAS服务器用于分析。这解放了分析架构中的计算资源,允许公司运行更高级的机器学习算法,比如分析站点访问者的实时得分来判断他们是否应该获得促销优惠。它也有助于应用更传统的数据模型,如统计游客参与度的工具或预测车辆价格的工具等,以扩大商业规模。

“我不希望我的团队总是担心数据是否被正确处理,或担心跟踪失败,”Hushman说道,“我希望他们思考我们如何才能做得更好。”

但即使在早期就解决可伸缩性的问题可以让一切变得相对简单,这并不意味着一劳永逸。Dow Jones主管客户业务的副总裁Jeff Parkinson表示,当他开始思考如何实现数据基础设施的现代化时,首先要面对的压力就是要提供更多的实物产品。

让基础设施的优势得以凸显

Dow Jones目前出版的作品包括《The Wall Street Journal》、《MarketWatch》和《MarketWatch》等,Parkinson表示数据基础设施对于Dow Jones的高级管理层是透明的。当他想把七个老旧数据库(存储着老旧过期数据的大型机)迁移到更现代化的云基础设施时,很难得到资金支持。他发现,大多数人想要访问数据时,能够实现可视化操作。经过一番劝说,他最终才让管理层理解了可视化工具的重要性,以及建立数据管道将为未来可伸缩性的成功奠定基础。

“我们可以实现可视化,给他们描绘一幅漂亮图画。但没有了核心,我们就再也无法完成,”他说。

Parkinson最终能够说服管理层为Amazon Redshift上部署的项目提供资金支持。Dow Jones 使用数据库来获取客户数据,存储到一个单独的位置,SAS软件读取这些数据并分析。

客户服务是新型分析架构的最大受益者。团队现在可以优化客户交互,进行建模,预测客户对具体报价的反应。现在可以分地区查看订阅者的行为,运行模型分析订阅者对每日报纸递送的反应,或确定哪些客户仅仅是试用订阅,哪些可能成为忠实的用户。

Parkinson认为,集中式数据库允许他的团队把这些工具提供给营销和客户服务部门。“我们的起点虽然很糟,但很快我们就可以扭转局面,”他说道。

作者

Ed Burns
Ed Burns

TechTarget网站编辑,重点关注商务智能、数据分析和数据可视化技术。

翻译

杨宏玉
杨宏玉

TechTarget特邀编辑。北京邮电大学计算机科学与技术专业硕士。熟悉软件开发流程,对系统管理,网络配置,数据库应用等方面有深入的理解和实践经验。现就职于IBM(中国)投资有限公司,从事IBM服务器相关软件的开发工作。业余时间喜欢游泳登山,爱健身,喜欢结交朋友。

相关推荐