首页 > 娱乐前沿 > 产经
【2016 Teradata大数据峰会直击】Teradata朝开源再迈进一步,要帮企业打造资料分析的生态系统
莹莹 2016-05-07 12:20:12

【中国北京现场报导】全球最大的资料仓储与大资料分析公司Teradata(天睿公司),今天(5/6)于中国北京举办2016 Teradata大数据峰会,这已经是第16届Teradata Universe大会,除了30场主要议程之外,现场展示了资料分析、开源服务等主题,以及一系列的大资料视觉化图,吸引了上千名金融、电信等各产业的资料分析领域专家及高阶主管参与。fg2我酷网

今年特别将「开源融合」这四个字放进大会主题,可以看到这个过去39年专注于资料仓储、资料库及资料分析领域的老牌大资料公司,现在也开始积极要拥抱并且推动开源技术。而2年前收购的大资料技术整合与谘询公司Think Big,就是他们将触角延伸企业,协助企业有效部署自己的资料湖、打造如Hadoop、Spark、Kafka、HBase等大资料平台及採用各项开源套件应用的关键角色。Think Big于2010年成立,目前已经在美洲、欧洲、亚洲的11个国家设置办公室,包括Facebook、Intel、Netapp、NASDAQ、美国运通等都是他们的客户,Think Big也在近日正式宣布进入中国市场,目前整个大中华区已经是Teradata全球第二大市场,仅次于美国。fg2我酷网

Teradata大中华区首席执行长辛儿伦今日在大会上表示,Teradata除了提供资料分析解决方案、产品与服务,让企业选择在公有云、私有云或混合云环境中运行之外,他们的关键任务之一,就是要协助企业建立资料分析的生态系统,也就是先前推出的统一资料架构平台UDA(Unified Data Architecture)。fg2我酷网

UDA可用来整合并分析所有类型的资料,支援Aster资料库、开源技术如Hadoop、R语言,也支援SAS、MongoDB及Oracle资料库等。目前Teradata主要产品还包括基于开源Kafka专案的产品Teradata Listener、可以无缝查询多个异质资料库的QueryGrid平台、Aater图像式的资料挖掘探索平台,此外,在资料分析层,也支援R、Spark,Giraph等,并支援多项BI存取工具如Tableau。fg2我酷网

大资料分析需求已无法用单一平台或技术来满足

辛儿伦以近两、三年间的业务推动经验,归纳出三大维度的资料类型与分析应用需求,包括在深度上,需要更快速地整合分析来自企业跨部门之间,属于关係性强、结构性强的业务型资料;宽度上,企业开始需要进一步融合公司内、外部的资料,属于关係不明确、且结构不清晰的大资料,最后则是在跨度上,于产业内,甚至各产业之间,建立跨界的资讯共享机制。fg2我酷网

他也提到了资料分析流程,从IT资料部门与公司内外部的最终用户,定义出一个共同认可的价值场景,并进行资料採集、获取、整合与建立模型、查询以及分析应用的流程。在这个过程中,通常会面临到的问题,包过不同资料来源的资料结构程度不同、各应用场景要求的资料精确度不同、资料分析应用要求的反应敏捷度不同、各种资料来源间连结上的关係性不强或是不确定,资料对每个场景的价值与含金量不同,以及各资料本身的易用性也有落差。fg2我酷网

辛儿伦表示,当今资料分析专业领域,已经无法採用单一平台,或是单一技术,来有效处理这些大资料分析需求。因此,如何有效解决资料之间求同存异的共同需求,建立资料管理体系及架构,整合统一管理资料,提升使用者满意度,成为所有企业皆可能面临的最大课题。fg2我酷网

延迟绑定与支援JSON、非结构化资料是现今的关键资料处理方法

Teradata全球技术长Stephen Brobst则介绍了现今资料分析的关键作法与技术,包括採用延迟绑定(Late Binding)的资料处理模式,及支援JSON(JavaScript Object Notation)语法及非结构化资料,其中,延迟绑定技术与以前的作法不同,不会在取得资料时便定义资料结构(Schema),而是在要使用资料时,也就是需要查询、读取时才建立资料结构,以保留其资料应用的灵活性,而Teradata的做法便是将JSON当作资料库第一层,当要读取资料时再决定资料的结构。fg2我酷网

Stephen Brobst也提到,Teradata推出的QueryGrid技术,可无缝查询多个异质资料库,採用QueryGrid的UDA架构中,可以包含如储存客户资料的Teradata 6800、纪录Session路径的Aster平台、Hadoop丛集中的非结构化文件、R伺服器网格(R Server Grid),及用来记录点击流量的Teradata 1700等,Teradata透过这样可串连多种资料来源的统一架构,并整合许多既有的软硬体,来协助企业打造资料分析生态系统。fg2我酷网

?fg2我酷网

企业资料若无法将资料治理做好,所部署的资料湖最终只会沦为无用的资料沼泽

Stephen Brobst将企业进行资料探索的流程分为蒐集(Capture)、治理(Curation)及分析(Analysis)三大部分,其中蒐集包括从内、外部将资料採集至储存平台中,供资料工程师或资料科学家来存取使用,在治理方面,企业需找到适当的资料结构,来对应不同的资料储存体,建立可描述资料储存模式与栏位的中介资料,并对多个储存体进行整合以进行週期性管理。最后分析部分,才是找出资料之间的关联性以及可进行分析预测的Pattern。fg2我酷网

而他认为,现在企业最大的问题是,在资料治理这部分做的不够好,且多数企业不愿意去正视这个问题,因此,儘管许多企业都已经建立资料湖(Data lake),把大量资料透过低成本的方式存到同一个地方,但是却没有让资料湖中的资料发挥最大价值。fg2我酷网

Stephen Brobst指出一项Gartner在2015年揭露的调查与预测数据,到2018年时,全球将有高达9成的资料湖会失去价值,这些已部署的资料湖将充满过多因不确定性案例而採集的资料资产不堪负荷。Stephen Brobst认为,企业使用资料湖的方式是错的,且不应该用资料湖的规模大小来衡量成功,此外,很多时候,企业会将重複的资料丢到资料湖中,却并未对这些资料加以管理或有效应用,或是对于已经放进资料湖中的资料不够了解,若是如此,即使存放了再多资料,最终只会成为无用的资料沼泽(Data Swamps)。fg2我酷网

他认为,治理就像是对资料集持续进行管理与维护,而最容易被忽略的事情是不断去追蹤这些内、外部资料的来源(Provenance),以及对已建立资料集(Data asset)进行使用和操作,此外,缺乏对资料与资料来源的关联性,导致对资料品质不信任,而产生资料重複複製,或是重複操作的状况,降低资源利用效率。而要掌握资料来源,得知道谁在什幺时候建立了这笔资料资产、建立这项资产的原始数据来源为何、建立该资料资产使用了哪些处理流程、这些资料资产已知的缺陷为何,以及所使用的演算法等。fg2我酷网

fg2我酷网

Teradata大中华区首席执行长辛儿伦表示,目前Teradata主要产品还包括基于开源Kafka专案的产品Teradata Listener、可以无缝查询多个异质资料库的QueryGrid平台、Aater图像式的资料挖掘探索平台,此外,在资料分析层,也支援R、Spark,Giraph等,并支援多项BI存取工具如Tableau。fg2我酷网

fg2我酷网

Teradata全球技术长Stephen Brobst表示,延迟绑定技术(Late Binding)与以前的作法不同,不会在取得资料时便定义资料结构(Schema),而是在要使用资料时,也就是读取时才建立资料结构,而Teradata的做法便是将JSON当作资料库第一层,当要读取资料时再决定资料的结构。fg2我酷网

fg2我酷网

Teradata全球技术长Stephen Brobst将企业进行资料探索的流程分为蒐集(Capture)、治理(Curation)及分析(Analysis)三大部分,其中蒐集包括从内、外部将资料採集至储存平台中,供资料工程师或资料科学家来存取使用,在治理方面,企业需找到适当的资料结构,来对应不同的资料储存体,建立可描述资料储存模式与栏位的中介资料,并对多个储存体进行整合以进行週期性管理。最后分析部分,才是找出资料之间的关联性以及可进行分析预测的Pattern。fg2我酷网

fg2我酷网

Stephen Brobst认为,现在企业最大的问题是,在资料治理这部分做的不够好,且很多企业不愿意去正视这个问题,他指出一项Gartner在2015年揭露的调查与预测数据,到2018年时,全球将有高达9成的资料湖会失去价值,这些已部署的资料湖将充满过多因不确定性案例而採集的资料资产不堪负荷。fg2我酷网

?fg2我酷网

?fg2我酷网

fg2我酷网

上一篇  下一篇

I 相关 / Other

超大咖打造“有感觉” 甩肉30余斤求完美出道

记者黄闵彦/台北报道由吉他手蔡婉怡及主唱陈怡安组成的“有感觉乐团”5月13日即将发行首张,背后拥有黄金般的制作阵容,全力让有感觉“一炮而红”!巧的是,有感觉乐团的两位团员从高中到大学都同校,初次相识竟是“

周予天、周兴哲兄弟联手合作 打造林心如新剧《奇妙的时光之旅》主题曲

由 金钟奖 导演许富翔执导,林心如、贾乃亮、徐璐、金圣柱等主演的幻爱超能体验剧《奇妙的时光之旅》,即将于4月27日登陆湖南卫视 青春进行时 剧场奇幻开播。今日,该剧主题曲《我以为》率先曝光,由 唱作新势力 A

高雄新地标!大鲁阁草衙道将开幕 打造最好玩购物中心

记者彭梦竺/台北报道周末假期又有好去处!大鲁阁草衙道暨铃鹿赛道乐园预计将在5月9日开幕,汇集购物、餐饮、运动、亲子、娱乐、文创、度假等元素,期望打造全亚洲最好玩的购物中心,让民众体验将游乐园与购物商城巧

攻印度市场 大陆智慧手机打造生态圈

为从白热化激烈竞争的印度市场中脱颖而出,大陆厂商小米和乐视最近先后投资或推出结合影视娱乐內容的手机等行动装置和服务,希望打造生态圈来抢占印度市场。随着大陆智慧型手机市场成长趋缓,包括苹果、三星等大厂,

无法代T丨水孩儿打造夏日潮童style

无法代T丨水孩儿打造夏日潮童style
T恤可谓夏季的必备单品,无论是明星出街或是大人街头潮搭,一件T恤轻松穿出大气风范,性感或是甜美外形,都可以轻松塑造,真是百搭王道,它的独特魅力让其一直站在时尚的顶

I 热点 / Hot