首页 > 娱乐前沿 > 产经
直击Teradata北京大数据峰会 资料仓储龙头终于要抢进IoT
米阳 2016-05-20 12:30:11

资料仓储龙头Teradata,近日于中国北京举办2016 Teradata大数据峰会,Teradata大中华区首席执行长辛儿伦表示,Teradata旗下开源大数据顾问服务Think Big将扩展至中国市场。除此之外,Teradata近日也宣布将旗下的资料仓储产品线延伸至混合云环境,并瞄準IoT资料分析市场,成立全球IoT资料分析部门。 zL9我酷网

【中国北京现场报导】资料仓储龙头Teradata(天睿公司),近日于中国北京举办2016 Teradata大数据峰会来展示拥抱开源的新进展,上千名金融、电信等各产业的资料分析领域专家及高阶主管参与。Teradata近日陆续揭露多项新战略,包括旗下开源大数据顾问服务Think Big将扩展至中国市场、成立全球IoT资料分析部门,也将旗下的料仓储产品线延伸至混合云环境。zL9我酷网

今年特别将「开源融合」这四个字放进大会主题,可以看到这个过去39年专注于资料仓储、资料库及资料分析领域的老牌大数据公司,现在也要再朝开源更进一步,积极拥抱并且推动开源技术。zL9我酷网

?战略一? 扩大开源布局zL9我酷网

在开源布局上,Teradata也与Facebook(脸书)合作推动开源专案Presto,Presto是脸书专为资料导向组织所开发的互动式资料查询系统,可即时处理PB等级的资料,目前以开放原始码方式释出。透过Presto的单一查询,不仅可存取Hadoop、Cassandra平台上的资料,也能串连至其他关联式资料库,如MySQL和PostgreSQL。脸书自身便採用Presto来处理超过300PB的资料,每天有上千名员工透过Presto来进行多达3万次的查询,除此之外,Airbnb及Dropbox也都採用Presto这套互动式资料查询系统。zL9我酷网

而Teradata目标是加速Presto开源专案推动,让Presto可更适用于企业环境,提供如强化监控与管理功能、YARN平台整合,ODBC/JDBC驱动程式支援、生态系统整合与BI工具认证等。zL9我酷网

另外,Teradata也在这次大会中正式介绍刚于3月底进军中国的旗下开源大数据技术顾问公司Think Big,可帮助企业部署资料湖、打造如Hadoop、Spark、Kafka、HBase等大数据平台的服务。Think Big于2010年成立,2014年被Teradata併购后,目前其开源服务已经扩展至美洲、欧洲、亚洲,并于11个国家设置办公室,包括Facebook、Intel、NetApp、NASDAQ、美国运通等採用。zL9我酷网

Think Big创办人兼总裁Ronald Bodkin表示,目前Think Big团队在中国已经有超过10人的规模,并以技能领域来画分,其中包含资料科学家、资料工程师,也有负责营运与推动计画的人,其中资料工程主要协助企业对资料进行整合、管理,并打造资料湖及资料相关的应用。zL9我酷网

大数据分析需求已无法用单一平台或技术来满足zL9我酷网

Teradata大中华区首席执行长辛儿伦在大会上表示,Teradata除了提供资料分析解决方案、产品与服务,让企业选择在公有云、私有云或混合云环境中运行之外,主要产品策略是协助企业建立资料分析的生态系统,也就是先前推出的统一资料架构平台UDA(Unified Data Architecture)。zL9我酷网

统一资料架构平台UDA可用来整合并分析所有类型的资料,支援Aster资料库、开源技术如Hadoop、R语言,也支援SAS、MongoDB及Oracle资料库等。目前Teradata主要产品还包括基于开源Kafka专案的产品Teradata Listener、可以无缝查询多个异质资料库的QueryGrid平台、Aster图像式的资料挖掘探索平台,此外,在资料分析层,也支援R、Spark,Giraph等,并支援多项BI存取工具。zL9我酷网

辛儿伦归纳出三大维度的资料类型与分析应用需求,包括在深度上,需要更快速地整合分析来自企业跨部门之间,属于关係性强、结构性强的业务型资料;宽度上,企业开始需要进一步融合公司内、外部的资料,属于关係不明确、且结构不清晰的大数据,最后则是在跨度上,于产业内,甚至各产业之间,建立跨界的资讯共享机制。zL9我酷网

从资料分析流程来看,IT资料部门与公司内外部的最终用户,要先定义出一个共同认可的价值场景,再建立一套资料採集、获取、整合与建立模型、查询以及分析应用的流程。他认为,企业常遇到的资料分析问题,包括不同资料来源的资料结构程度不同、各应用场景要求的资料精确度不同、资料分析应用要求的反应敏捷度不同、各种资料来源间连结上的关係性不强或是不确定,资料对每个场景的价值与含金量不同,以及各资料本身的易用性也有落差。zL9我酷网

辛儿伦表示,当今的资料分析领域,已经无法採用单一平台,或是单一技术,来有效处理这些大数据分析需求。因此,如何有效解决资料之间求同存异的共同需求,建立资料管理体系及架构,整合统一管理资料,提升使用者满意度,成为所有企业皆可能面临的最大课题。zL9我酷网

?战略二 ?瞄準IoT资料分析市场zL9我酷网

另外一项新战略,则是瞄準IoT发展趋势,设立新的全球IoT资料分析部门(Global IoT Analytics Unit)。Teradata去年开始组织重整,陆续退出行销应用业务领域,可见Teradata不仅将重心摆回资料分析本业,更计画抢进物联网的资料分析市场,并往云端化迈进。zL9我酷网

Teradata全球技术长Stephen Brobst表示,大数据以前聚焦B2C如零售产业,但是现在的物联网更多是B2B模式,而过去Teradata客户以金融、电信产业为最大宗,现在将扩展至更多製造业,以及任何具有大量IoT资料分析需求的产业。全球IoT分析部门隶属于Teradata实验室之下,该开发部门由资料科学家、资料工程师及软体设计师所组成,将专注开发IoT应用领域的创新资料分析服务,并打造新云端化的资料分析解决方案。zL9我酷网

Stephen Brobst也表示,成立全球IoT分析部门是为协助企业更容易移转如感测器所产生的大量资料,以因应IoT资料流,并藉由优化资料管理系统,进行即时的大数据进阶分析,提供可用来分析IoT资料的工具与技术,希望帮助企业简化IoT资料的进阶分析、资料搬移与资料库管理流程。zL9我酷网

全球IoT分析部门主要负责几件事情,包括基于Teradata资料分析平台Aster Analytics 6.21版本开发新的开发工具包Teradata Aster Scoring SDK,可在运行环境中执行建立于Aster资料库中的分析模组,Aster Scoring SDK能协助分析师快速部署 Aster的IoT分析模组,并让开发者建立複杂分析模组,可实际部署于任何IoT先进伺服器、公有云环境或是资料中心。zL9我酷网

此外,也将负责拓展基于Kafka开源专案的产品Teradata Listener ,Teradata Listener 可用来追蹤多个感测器与IoT资料串流,并将这些资料广播到整个分析生态圈中的多个平台上进行资料处理流程。接下来,新成立的全球IoT分析部门也将在系统管理及DevOps 任务中,结合新的机器学习与进阶分析技术,藉由在Teradata 系统上採用机器学习技术,快速解决系统中所产生的複杂绩效与工作量拥塞问题(Workload Congestion Problems)。zL9我酷网

?战略三? 延伸支援混合云架构zL9我酷网

在云端布局方面,Teradata要将旗下资料仓储产品线进一步延伸至创新的混合云平台上提供,让企业的跨平台系统之间具有更大的弹性与整合性。zL9我酷网

新发表的Teradata混合云服务,可协助企业打造跨本地部署、代管云及公有云端环境的混合云架构,并提供简单好用的功能让企业进行资源调度,如自动化同步(Automatic Synchronization)、优化查询路由(Optimized Query Routing),以及跨生态系统之间的端对端管理。zL9我酷网

除此之外,Teradata也推出可进行大规模平行运算架构Teradata IntelliFlex,以及支援AWS云端平台环境的Teradata资料库,而既有的Teradata代管云也预计在今年下半年扩展至欧洲市场。zL9我酷网

其中,Teradata IntelliFlex是新一代的大规模平行处理架构(Massively Parallel Processing,MPP),以光纤架构为基础提供多维度扩充性,企业可依据当前的业务需求转变,自行提升处理能力,或是扩充储存容量。Teradata IntelliFlex也提供了大容量的记忆体资源配置,可进行高效能的记忆体式运算(In-memory),并适用于企业资料中心里的高密度机柜空间。Teradata表示,IntelliFlex的记忆体容量是现有Teradata资料仓储产品的3倍,效能上也有显着提升。zL9我酷网

而Teradata资料库也正式支援AWS平台,整合了Teradata资料库软体生态圈中的进阶分析能力,并提供多项自助式服务,可快速方便的透过单键来订阅,提供以年计价和以小时计价选择,Teradata表示,未来几个月也预计要支援其他公有云平台。zL9我酷网

延迟绑定与支援JSON、非结构化资料是现今的关键资料处理方法zL9我酷网

除了祭出3项新战略之外,Stephen Brobst在大会上也分享了现今资料分析的关键作法与技术,包括採用延迟绑定(Late Binding)的资料处理模式,及支援JSON(JavaScript Object Notation)语法及非结构化资料,其中,延迟绑定技术与以前的作法不同,不会在取得资料时便定义资料结构(Schema),而是在要使用资料时,也就是需要查询、读取时才建立资料结构,以保留其资料应用的灵活性,而Teradata的做法便是将JSON当作资料库第一层,当要读取资料时再决定资料的结构。zL9我酷网

他表示,如Teradata推出的QueryGrid技术,可无缝查询多个异质资料库,採用QueryGrid的UDA架构中,可以包含如储存客户资料的Teradata 6800、纪录Session路径的Aster平台、Hadoop丛集中的非结构化文件、R伺服器网格(R Server Grid),及用来记录点击流量的Teradata 1700等,Teradata透过这样可串连多种资料来源的统一架构,并整合许多既有的软硬体,来协助企业打造资料分析生态系统。zL9我酷网

Stephen Brobst将企业进行资料探索的流程分为蒐集(Capture)、梳理(Curation)及分析(Analysis)三大部分,其中蒐集包括从内、外部将资料採集至储存平台中,供资料工程师或资料科学家来存取使用,在梳理方面,企业需找到适当的资料结构,来对应不同的资料储存体,建立可描述资料储存模式与栏位的中介资料,并对多个储存体进行整合以进行週期性管理。最后分析部分,才是找出资料之间的关联性以及可进行分析预测的模式。zL9我酷网

而他认为,现在企业最大的问题是,在资料梳理这部分做的不够好,且多数企业不愿意去正视这个问题,因此,儘管许多企业都已经建立资料湖(Data Lake),把大量资料透过低成本的方式存到同一个地方,但是却没有让资料湖中的资料发挥最大价值。zL9我酷网

Stephen Brobst指出一项Gartner在2015年揭露的调查与预测数据,到2018年时,全球将有高达9成的资料湖会失去价值,这些已部署的资料湖将充满过多因不确定性案例而採集的资料资产不堪负荷。Stephen Brobst表示,企业使用资料湖的方式是错的,且不应该用资料湖的规模大小来衡量成功,此外,很多时候,企业会将重複的资料丢到资料湖中,却未对这些资料加以管理或有效应用,或是对于已经放进资料湖中的资料不够了解,若是如此,即使存放了再多资料,最终只会成为无用的资料沼泽(Data Swamps)。zL9我酷网

他认为,最容易被忽略的事情是不断去追蹤这些内、外部资料的来源(Provenance),此外,也缺乏对资料与资料来源的关联性,导致对资料品质不信任,而产生资料重複複製,或是重複操作的状况,资源利用效率低。而要掌握资料来源,得知道谁在什幺时候建立了这笔资料资产、建立这项资产的原始数据来源为何、建立该资料资产使用了哪些处理流程、这些资料资产已知的缺陷为何,以及所使用的演算法等。zL9我酷网

zL9我酷网

Teradata大中华区首席执行长辛儿伦表示,目前Teradata主要产品还包括基于开源Kafka专案的产品Teradata Listener、可以无缝查询多个异质资料库的QueryGrid平台、Aster图像式的资料挖掘探索平台,此外,在资料分析层,也支援R、Spark,Giraph等,并支援多项BI存取工具如Tableau。zL9我酷网

zL9我酷网

上一篇  下一篇

I 相关 / Other

起诉林妙可的孙先生资料照片 林妈称其留言下流 [非常娱乐]

起诉林妙可的孙先生资料照片 林妈称其留言下流 [非常娱乐] 5月16日,北京市朝阳人民法院通报了立案登记制实施一周年以来的总体情况。一年来该法院受理案件相较以往增加了三成,为此,朝阳法院设立大宗案件接待室、

刘亦菲遭粉丝推倒现场照 肇事猥琐男粉丝照片资料遭扒 [非常娱乐]

刘亦菲遭粉丝推倒现场照 肇事猥琐男粉丝照片资料遭扒 [非常娱乐]昨晚5月19日,刘亦菲在电影《夜孔雀》广州宣传活动时遭遇疯狂男子粉丝推倒,此次事件中刘亦菲四肢均有擦伤。今天网友微博大v账号圈教主”曝光了

式场壮吉家庭背景资料 因肝疾病逝 [非常娱乐]

式场壮吉家庭背景资料 因肝疾病逝 [非常娱乐] 据台湾媒体报道,欧阳菲菲当年在日本演艺圈发展顺遂,与邓丽君双双登上《红白歌唱大赛》的经典画面,至今仍为歌迷津津乐道,在事业如日中天之际,欧阳菲菲邂逅了丈夫、

孙先生微博资料遭人肉 林妙可微博留言截图 [非常娱乐]

孙先生微博资料遭人肉 林妙可微博留言截图 [非常娱乐]5月16日,北京市朝阳人民法院通报了立案登记制实施一周年以来的总体情况。一年来该法院受理案件相较以往增加了三成,为此,朝阳法院设立大宗案件接待室、建多元

刘亦菲被扑倒视频 神经变态男资料遭人肉 [非常娱乐]

刘亦菲被扑倒视频 神经变态男资料遭人肉 [非常娱乐]刘亦菲被扑倒进展:综艺君通过前线人员得知,此次疯狂事件与粉丝无关,是一名精神失常的患者所致,此人从(第三种爱情)至今几度尾随刘亦菲、一直未有近距离接触机

I 热点 / Hot