首页 > 娱乐前沿 > 产经
中国版亚马逊噹噹网平台架构大公开
米阳 2016-09-24 10:48:08

噹噹网架构部总监史海峰表示,一家电商要有好的基础架构,才能够支撑更上层的应用,让系统可以快速开发、上线及自动部署,而不是每次开发新系统,就得全部从底层开始。(图片来源/iThome) ErK我酷网

五亿本线上图书销售、上亿本数位书本下载、破千万本电子书借阅、平均系统每天得处理10万笔用户订单、更有100多套系统同时运作,这是噹噹网400人IT团队2015年所面对的庞大IT考验,噹噹网架构师史海峰明白点出解决关键得靠底层的电商基础架构来支撑,才能够做到自动化IT管理和维运,来因应爆量的网路订单需求,甚至快速开发新服务或应用上线部署。ErK我酷网

中国最大规模的网路书商,去年线上交易卖出5亿册ErK我酷网

噹噹网是目前中国最大规模的一家网路书商,更有中国亚马逊之称,光是2015年就卖出5亿本书册,占大陆线上图书销售量半数,数位书籍下载量更破亿本,而且噹噹网不只卖电子书也卖服饰、3C等生活用品,更设有电商平台提供租用,至今已有超过了1.4万家商家进驻,2010年更成为大陆首家在美国上市的中国电商,日前噹噹网架构部总监史海峰来台时也分享了他们如何打造自家基础架构的关键。ErK我酷网

「基础架构就是大陆俗称的『铁公基』(指铁路、公路、机场等重大基础设施建设)。」史海峰表示,基础架构通常跟业务不直接相关,所以很多公司的技术人员往往优先处理业务面的需求,而导致基础底子一直没有固好,甚至多数新进员工在选择要做业务系统还是底层系统时,往往会优先选择开发业务系统,如交易、支付系统等,以致于人力不足。ErK我酷网

但史海峰明白指出,一家电商要有好的基础架构,才能够支撑更上层的应用,让这些系统或应用可以快速开发、上线及自动部署,而不是每次开发一个新系统或应用,就得要全部从底层开始架起。一旦基础没打好时,无法透过现有基础平台来支撑,不只建置新系统要耗费更多时间,更容易延误系统上线的时程。ErK我酷网

有好的基础架构,才能够撑起更上层的应用ErK我酷网

史海峰表示,建立好的基础架构,不只能将业务程式与框架、平台隔离,避免新进人员开发新系统而影响到底层架构,也能提供系统的可控性,可以因应网路需求,来调度系统资源。此外,噹噹网过去由于业务需求优先于架构优化,使得新系统的开发容易过于仓促,而衍生了不少调校、安全方面问题,而透过强化基础架构,也能够用来降低这些技术债,来提高管理效率。ErK我酷网

史海峰将电商基础架构分成上、中、下3层,其中最底层是最基础的设施,例如硬体、网路、公有云、私有云、系统监控、操作系统等,而中间层则是应用管理层,包括了权限管理、效能管理、流程管理、日誌、应用监控等,至于最上层则是PaaS服务平台,包括大数据、快取平台、业务监控、搜寻引擎等。「这些都是一个成熟的大型系统不可或缺的元件 。」他说。ErK我酷网

以噹噹网来说,目前负责维运的业务核心系统,包括有商品管理、客户管理、支付、订单等系统,来处理各种电商业务,还提供一个电商开放平台,可以支援商家入驻,对外开放API。商家可以通过API介接,自动管理商品、行销、价格和库存,以及订单处理。此外噹噹在全中国设有10多个物流仓库据点,各仓库之间的货品调度,也都需要透过系统来串接,这些大大小小的系统加起来总数超过100多个,系统相当庞杂,「要维持这些系统能提供全天24小时的稳定服务,并且功能都不能出错,对于IT挑战也就越大。」他说。ErK我酷网

不仅如此,近年来,举办大型促销活动已成为中国每家电商的常态促销专案,如淘宝的双11,天猫的双12等。史海峰表示,噹噹网每年也会定期举办大型书籍促销活动,但过去时常发生访客爆量,流量太大,系统扛不住而导致很多人都无法登入的情况,因此如何提供监测机制,来调度系统资源,达成更好的扩充弹性,以因应瞬间爆量需求,也成为了噹噹IT团队不得不解决的事。「这些问题得要从基础架构才能解决。」史海峰说。ErK我酷网

靠基础架构来稳定系统、更快速交付到生产环境ErK我酷网

史海峰表示,打造基础架构,採用的技术厉不厉害不是重点,重要的是确保系统稳定、如何快速交付到生产环境才是关键。以噹噹网的部署架构来看,他指出,目前有上千台资料库伺服器用于数据储存和管理,其中MySQL 、SQL Server做为中继资料(Metadata)的管理;而在数据监控方面则是使用开源资料仓储系统Greenplum,并利用MongoDB来打造权限管理机制;另外他们也自行开发一套资料库管理系统,来提供这上千个资料库的统一管理,即时掌握每个资料库的使用状况,例如储存空间不够用,优先权限分配等,ErK我酷网

而在维运监控上,史海峰则採用了一个Redix快取丛集管理平台,来提供统一的维运管理机制,能做到以系统化方式,来管理资源、各节点,以及统一快取版本,来简化维运複杂度。另外他们也建置了一个自动化维运部署平台,能够帮助维运人员或开发测试人员,透过单一系统执行大量自动发布,并也能够统一进行备份。ErK我酷网

ErK我酷网

噹噹网架构部总监史海峰将电商基础架构分成3层,其中最底层是最基础的设施,如硬体、网路、公有云、私有云、系统监控等,而中间层则是应用管理层,如权限管理、效能管理、流程管理、日誌、应用监控等,最上层则是PaaS服务平台,包括有大数据、缓存平台、业务监控、搜寻引擎等。ErK我酷网

打通产品生命周期的关键是在基础管理ErK我酷网

此外,在基础管理方面,史海峰指出,基础管理是打通产品生命周期的关键,这些基础管理包括了专案(Project)管理(如专案流程、敏捷开发)、自动化部署(如多环境部署、自动备份)、监控示警(如服务调用监控、自动化警示),以及问题追蹤(如超时自动升级或业务报单追蹤处理)。他并提到,整个技术部门都是通过专案来驱动,甚至若是担任一名公司CTO,他认为必须要做到两件事,「第一是专案、第2才是架构。」因为他说,相较于架构是让你知道哪些底层技术需要打通,而专案则是让你可以把所有产品生命周期串连起来。ErK我酷网

以专案管理来看,史海峰的技术团队后来也自行开发一套PDLC开发流程管理工具,来串联起从需求、产品、开发、测试到部署上线的整套流程,能提供个人管理、专案管理、团队资源管理和工具及报表等整合功能,例如能查看所有技术部门或任一部门的组织结构及负责产品线,主管也可以经由此工具随时追蹤每个专案的花费成本,「很多中国公司都是靠人来管理,不像我们是用系统来管。」他说。ErK我酷网

另外在应用监控方面,原本噹噹网过去採用的应用监控工具管理不易,后来史海峰改用了一个专门管理系统的应用监控工具Zabbix,来提供简单监控功能,如CPU、硬碟、网路等,从这些蒐集到的数据来了解维运情况。ErK我酷网

不只是强化底层基础管理、应用监控,噹噹网的技术团队更在2014年利用开源分散式服务框架Dubbo,来打造了自家的SOA服务框架Dubbox, 可以支援RESTful Remoting和Kryo/FST序列化等应用。另外去年也设计了一个基于Java的应用框架DDframe,并将DDframe拓展成为一个採用Mesos的分散式作业管理框架Elastic-Job,来实现任务的弹性调度。ErK我酷网

目前这个新框架已用于噹噹网的支付、配货、订单运算中心等系统。甚至还搭建一个开源轻量级的资料库分表中间件Sharding-JDBC,来支援TMS运输管理系统每天20万笔增长的订单数据储存,以及WMS仓储管理等的使用。ErK我酷网

ErK我酷网

上一篇  下一篇

I 相关 / Other

中国建议菲律宾总统先访华再访日?

菲总统为何先访华再访日[提要]据多家外媒报道,菲律宾总统杜特尔特将于10月中旬访问中国和日本。有消息人士称,对中国的访问计划安排在10月的第三周,...问:日本媒体报道说,中国驻菲律宾大使曾建议杜特尔特总统先访华再

借搜寻MH370干这事?澳又抹黑中国

原标题:澳媒质疑中国借搜寻MH370残骸对澳“间谍侦察” 环球网综合报道:《澳大利亚人报》9月22日报道称,澳大利亚“安全专家”称,中国政府为搜寻MH370...原标题:澳媒质疑中国借搜寻MH370残骸对澳“间谍侦察” 环球网综

朝鲜核技术来源曝光 中国尴尬美怒了

朝鲜核技术来源曝光 中国尴尬美韩大怒 2016-09-23 | 阅: 转: | 分享 作者:政知道 有家地方企业的动态最近很受关注。9月20日,外交部发言人...据网站介绍,这家物流公司的股东之一为朝鲜光鲜银行金融会社,出资额为980万

中国新一代战机能力暴涨 配神秘武器

西太平洋地区,都有灵活部署各种水雷武器的能力。...新型水雷和新一代远程轰炸机组成了中国新一代...MAGIC杨梦晶+关注 生活时尚&搭配博主 /生活时尚...据印度defenseworld.net网站报道,新一代枭龙战斗机将拥有先进的数

5种中国武器让美国眼红 曾研发失败

尽管这种中国武器的飞行速度比不上美国同类,但似乎比美国正在开发的任何高超音速武器项目都要更接近投入使用。美国正在推动新的两栖战车项目,但与此同...这5种中国武器让美国眼红,曾研发失败2016-9-08 13:19 来源:中

I 热点 / Hot