首页 > 娱乐前沿 > 科技
脸书通过即时机器学习自动调校工具Spiral,将快取最佳化过程从数周降低至数分钟
小艾 2018-07-03 16:31:46

脸书开发了一个小型的嵌入式C++函式库Spiral,以机器学习为资源有限的即时服务,产生资料驱动或是反应式的启发演算法,以最佳化服务。脸书提到,过去他们手动撰写快取(Cache)、许可(Admission)与驱逐(Eviction)策略太过困难,而且也过分耗费时日,Spiral可以加速这个最佳化过程从数周到数分钟。kzO我酷网

脸书用户多达数十亿,虽然服务看似为一个统一个应用程序或是网站,但其实是由数千种服务组合而成,这些服务范围包括平衡网络流量、影像转码,到高可靠储存的后端功能,而用户所感受到脸书的执行效率,是各种服务的总和结果。过去都由这些服务个别进行最佳化,但是这样的方式难以适应快节奏的变化。kzO我酷网

脸书服务更新节奏很快,其程式码基底(Codebase)每隔几个小时,就会被推送进入生产阶段,而在这个持续部署的过程,手动调校服务显得不切实际,因此他们必须根本上改变对于软件维护的看法。传统调校快取的策略看起来像是一个有许多分支的树状结构,根据物件的大小、类型或是其他元资料来决定快取与否。脸书特别提到,无论要工程师手动重写快取(Cache)、许可(Admission)与驱逐(Eviction)策略,或是手动调整启发式演算法都太过困难。kzO我酷网

脸书想让这个最佳化过程从手动变成自动,摆脱以人工写死的启发式演算法或是参数方法,以最佳化快取来说,自动化调校应该要通过存取历史纪录,让分类器(Classifier)来决定那些物件应该要放进快取,脸书举例,像是没有存取过的物件就不要放进快取。把元资料当作特征,并把回馈作为标签,分类器就能对快取操作进行决策,而且一边再训练一做出决策,也可以让分类器保持最新的状态。kzO我酷网

以这样的发想,脸书建构出了Spiral,这是一个存在极少相依的小型嵌入式C++函式库,能以机器学习为资源有限的即时服务,创建资料驱动与反应式的启发式最佳化,让系统开发速度更快,工程师也不需要手动进行最佳化维护。kzO我酷网

整合Spiral的程式具备预测与回馈两种功能。Spiral预测能输出决策,像是用于决定物件放入快取与否,而这个预测动作,则需要在本地端的每一个决定中被执行。Spiral的回馈功能则是偶而被启用,例如当快取里的物件从未被存取,那机器学习模型便会学习到,这类的东西或许不适合放进快取。kzO我酷网

Spiral可以单纯在本机端运作,进行轻量的模型训练,或是也能用于回传统计讯息或是回馈至后端,以视觉化呈现资讯用作除错,或是以日志资料记型长期储存,供未来分析使用,也可以进行资源吃重的模型训练。在Spiral中,只要收到回馈资讯,便会马上开始模型训练,随着回馈的产生,预测的精准度也会提高,而且与写死的最佳化方法不同,由于Spiral的启发式演算法根据会馈不同而改变,因此特别能够适应不断变化的执行条件。kzO我酷网

这个基于Spiral的快取最佳化机制,让反应式快取的查询时间,从数周降低到了数分钟。之前工程师需要通过实验收集资料,这个过程不只劳力密集且需要花费许多时间,但有了Spiral,最快在几分钟内就能自动产生学习模型,进行推测,而多数的使用案例,伺服器也能在10到20分钟内训练出模型进行推测。kzO我酷网

脸书认为,这个Spiral概念很像是宣告式程式设计(Declarative△programming),就像是SQL一样,工程师只要指定计算的内容,运算引擎便会找出最佳查询方法,而不需要指定复杂的计算过程。不过,宣告式程式设计的挑战在于,完整且正确的指定目标,当给系统不精确的策略回馈时,系统便会学习出不精确的政策。脸书提到,新人工程师入职最难的部分之一,就是学习使用Spiral精确定义自动调校需要的结果。kzO我酷网

上一篇  下一篇

I 相关 / Other

骗女友600余万 回顾诈骗过程

法律法规网消息 越来越多人在现实生活中找不到对象,于是在网络上找对象,殊不知网上的骗局有很多,一不小心就会中入别人的圈套。一起来看下面这个案例! 通过网络与在清华大学读书的喀麦隆人卫力相恋后,在北京创

制作过程加PM2.5?卫生局稽查豆浆名店

民众PO网爆料台中一间豆浆名店经常在骑楼煮东西,而且放了一堆锅炉在骑楼底下,质疑难道是要边揉面团边加进PM2.5吗?发帖引发网友讨论,有人说其实到处都有这种现象,但因为它是名店所以树大招风,但卫生局也有注意到

Google让机器人抓握技巧更像人,在杂乱中抓取目标前还会先捞一捞

抓握物体对人类来说是很简单的工作,要教会机器人却非常不容易,Google先是发表不需要人工设定轨迹,就能抓取特定物体的研究,现在还要让机器人行为更像人,可以让机器人从一大群杂乱的物体中,像人一样捞出目标物,

13年后跨国认亲 回顾认亲过程

法律法规网消息 出去游玩一定要看好孩子,现在的人贩子都太猖狂了,不然后果不堪设想。近日一美国学霸跨国认亲,到底怎么回事?他们当年为何走失,又是如何联系上的?一起来看具体报道!7月1日,广州白云机场,从美

人工智能机器首度飞向太空!空中巴士打造的漂浮机器人CIMON即将登陆国际太空站

图片来源: 空中巴士 皮克斯动画电影“瓦力”中的太空机器人伊芙现在几乎成真了,由空中巴士带头打造的太空用智慧助理机器人CIMON(Crew△Interactive△Mobile△Companion)在6月29日从地球出发,并于7月2日抵达国际太

I 热点 / Hot