首页 > 娱乐前沿 > 产经
抢修反而错删!GitLab损失300GB正式环境资料,5千专案遭波及
伊文 2017-02-02 19:20:34

全球最大开源程式码平台GitHub的竞争对手GitLab,昨日惊爆工程师team-member-1(GitLab匿名处理,简称甲工程师)误删近300GB的正式环境资料,GitLab也紧急启动修程序,除了利用Google Doc即时更新维修进度外,甚至也利用YouTube全程直播长达8小时的维修资料库过程lgS我酷网

在这次事件中,GitLab总共损失了6小时的资料,包含开发Issue、合併请求、专案留言等档案。GitLab表示,此次总有707名使用者遭受波及,5,037个开发专案受到影响。不过GitLab强调,由于Git储存库并未受到损害,站方仍然有能力重建在误删事件发生前,系统所储存的专案,「但是我们无法复原这些专案相关的Issue。」lgS我酷网

GitLab也在官方部落格上,按照时间顺序,揭露此事件的来龙去脉,以及站方做出的相对应策略。根据GitLab,此事件总共可以分成3大阶段。lgS我酷网

第一波事件:不当使用者试图瘫痪资料库lgS我酷网

GitLab表示,在世界协调时间(UTC)1月31日晚上6点,站方发现不当使用者(spammer)大量建立程式码剪贴簿(Snippet),利用此手段攻击资料库,使其运作变得不稳定。此时GitLab已经开始介入,除了了解事件外,也要进行反击。到了晚上9点,由于GitLab资料库承受过多资料写入,写入程序中已经开始产生锁死(lockup)现象,导致站方系统发生无法进行存取的情况。lgS我酷网

面对这群不当使用者的攻击,GitLab祭出大招,锁定其IP位置进行封锁外,也移除不当使用者的帐号。GitLab表示,其中1名使用者,还利用GitLab储存库(Repository),假作为CDN服务,让4万7千个IP位址都使用单一帐号登入,「导致资料库的工作流量相当大。」lgS我酷网

第二波事件:资料库运作近乎停摆lgS我酷网

GitLab表示,到了晚上10点,已经开始接获使用者通报,「因为资料库複製程序Lag的太严重,几乎可说是停止运作」,延迟写入的资料已经达4GB之多。lgS我酷网

而GitLab也表示,资料库停止运作的原因在于,1号资料库的流量负载过高,「无法即时将资料写入至2号资料库。」lgS我酷网

在第二阶段中,GitLab首先尝试修复2号资料库,但是它并无法连线至1号资料库,「因为系统预设参数max_wal_senders?中,待命伺服器连线数目过低。」lgS我酷网

根据PostgreSQL的官方文件的定义,开发者可以透过max_wal_senders,限制当前待命伺服器数目的最大值。另外,此参数也不可以高于参数max_connections的设定,限定PostgreSQL资料库伺服器连线数目的最大值。lgS我酷网

但即便甲工程师试图已经将最大连线数,从2千调高至8千,但是2号资料库仍然无法开始执行複写程序。lgS我酷网

第三波事件:误删资料库的惨剧发生lgS我酷网

当晚时间11点,当时决定要下班走人的甲工程师认为,应该是肇因于PostgreSQL档案目录的问题,才无法使用备份指令pg_basebackup进行复原,甲工程师决定将该Directory移除。lgS我酷网

但是在甲工程师下了清除指令后,才惊觉他并没有切换目录,而是直接在储存正式环境资料的1号资料库执行。虽然他终止了该命令,但是为时已完,300GB的资料,已经删掉绝大部分,只剩下4.5GB。lgS我酷网

多方备援手段皆不管用lgS我酷网

按照常理推论,即使发生如此惨剧,GitLab其他的备份管道也应起作用,不至于无法复原资料。但GitLab坦承,虽然站方拥有LVM快照、日常备份、Azure硬碟快照,以及AWS S3等多种备份机制,「但複写程序真是脆弱的不得了」,除了容易出错,相关文件归档机制也不佳。GitLab表示,即使拥有5个备援管道,「没有一个运作可靠。」lgS我酷网

在误删的惨剧发生后,GitLab已经展开修复行动,试图从Staging资料库中寻找遗失的资料。在此次事件中,虽然Git储存库未受到影响,「遗失正式环境资料对我们是无法接受的。」GitLab也预计在数天后,公开宣布此事成因及未来的应变措施。lgS我酷网

虽然GitLab犯下了相当严重的失误,但是站方不仅第一时间就坦承,同时还利用Google Doc公开维修进度,以及YouTube直播维修资料库过程。这次GitLab事件的处理,也获得外国社群的讚许,称讚其大方面对错误,更表示,意外难免发生,而GitLab应该以此次事件为借镜,继续往前走。lgS我酷网

上一篇  下一篇

I 相关 / Other

银行高利专案 人民币定存年息近4%

鸡年开春银行业就送大红包,第一金控旗下第一银行推出人民币高利定存专案,即日起至3月2日止,人民币定存最高可享年息3.88%。一银表示,包括个人户、法人户只要临柜办理1年期定存,单笔金额达人民币30万元以上,即享

Google开源iOS版Chrome,加入Chromium专案

继Android版本后,Google也于周二宣布开源iOS版Chrome,成为Chromium专案的一部份。?Google早就在2015年就已开源Chrome for Android浏览器。Google表示,过去由于在iOS平台上所有浏览器都必须在WebKit渲染引擎上执行

莒光号调车出轨 台铁完成抢修并复轨

台铁704次莒光号今天中午12时17分预备由台东开往新左营站于洗车线调车时,发生电源车4轴出轨,出库路线无法通行。台铁说,经过抢修,出轨路段已经在傍晚5时20分恢复正常。台铁指出,台铁704次莒光号列车中午在洗车线

挑战Google Docs,Dropbox Paper正式于全球上线了!

图片来源: Dropbox 经过一年多的封闭测试与公开测试后,Dropbox Paper云端协作平台终于在本周一(1/30)正式于全球市场推出,将挑战Google Docs与微软Office 365服务。专为全球团队协作所设计的Dropbox Paper拥有活泼

美国签证限令 波及入围奥斯卡伊朗导演

美国领导人川普27日签署对来自7个穆斯林国家旅客加强管制的行政命令后,获得奥斯卡提名的伊朗导演阿斯哈法哈蒂,能否参加这项好莱坞年度盛会,已经划上问号。根据川普新签署的行政命令,美国核发给来自伊朗、伊拉克、

I 热点 / Hot