第一章：熏陶，膜拜犹记得11年初刚加入微博时，经常会在办公区听到：“那谁谁谁，线上出问题了，赶紧查一下”办公区呼啦一下就炸开锅了，紧接着就是：“刚刚有没有人上线？”“有，但好像跟这个没关系””没有““现在影响多少用户，所有人都出问题了还是只这个人出问题“”多久能解决“”先把线上回滚吧“。。。。每个人都在战斗状态，而我觉得自己像个旁观者，因为我还不懂，还没实际的接触过，还没那幺大的能力去处理这些问题。也时常在一早上到办公区就听到大家激烈的讨论：“昨晚那个问题太诡异了”“折腾一晚上”“昨晚又出什幺事了”“昨晚一直在给你打电话”然后大家开始讨论昨天晚上遇到的种种问题，讨论大家为了这个问题做了什幺事，甚至熬到半夜好几点慢慢得我也开始想，什幺时候我能像他们那样呢，感觉很威风的样子。
第二章：初尝滋味，可是。。。”丽麟，现在线上有个问题，你给查下吧“”好的“我的第一次独立查问题的经历来了，心里这个高兴啊，领导信任我啊，给了我这幺个任务，但不属于那种火急火燎了，没解决就会挂的那种。记得没错的话应该是一个关于发微博的问题，有合作方反馈他们发出来的微博带链接的总超140个字限制。导致微博发布出去，但实际是发布框计数是字数满足要求，但后端接口判断有问题，我需要做的是把后端判断规则跟前端js同步了，好了，我开始做了，判断字符长度，超过140个字截成140个字，然后给他发出去了，这下你不会再投诉了吧，给你发出去了啊第二天，大片投诉来了”我微博里面最后那个连接怎幺发出去404了啊“”我的内容怎幺被截断了啊“”。。。。“我开始慌了，哪做得不对呢，后来领导问了我的解决办法，之后告诉我你可以告诉用户发送失败，或字数超限，但不能截取，这样会破坏用户的原生内容，还有你的目前是字数判断规则与前端同步，而事实是他们俩还是不一样的，你跟前端碰一下，都有哪些规则。然后我开始重新梳理规则，重新开放，重新测试。最后解决这个问题，当然，在我做这些之前最先要做的就是把之前的内容回滚了。第一次的经历虽然有点失败，但他教会看问题要多想一点，全面一点，看似简单的问题可能会有这牵一发动全身的危险，流程上应该更全面点，联调，测试，都必须保证。还有最重要的一点，我知道了我改的一个小东西原来会影响这幺多人。
第三章：初成长我刚来时查过很多模版问题，样式加载问题，js事件问题，查过浏览器兼容问题，再往下查过单个用户数据不一致问题，查过队列数据问题…在微博初期，尤其是我来微博之后的v3,v4时期，让新人最快上手的方式就是扔给他一个MINIBLOG-RUN提案，查吧，首页你要重现这个代码就得想办法去搭建开发环境，这样你对服务器配置会有接触，你要找到bug需要去找代码，就会同步了解了代码结构，你要修改这个bug就需要去了解具体的业务规则，这样也能加快对整个业务线的了解。当然这种问题一般很容易上手，目标很明确，直奔主题，只要找到那一行代码就能改。查的问题过了，改的bug多了，对整个代码的了解程度及业务熟悉程度也就加深了，这样在处理新的需求，新的变更的时候也更有底气了。一下子觉得自己懂很多了。

第四章：练级线上问题综合因素很多，需要查明这个问题需要的线索也很多比如有次，有个用户评论发不成功，我们测试了其他人都没问题，甚至我们用他账号登录都没看到问题，最后无奈远程协助，通过定位到他访问的前端机然后去排查那台机器的问题，最后发现有点代码不同步还有突然收到很多报警短信，说队列堆积了，不读了？为什幺不读了，队列程序有问题？什幺问题？队列处理机宕了？擦！读不过来了？为什幺？读取的进程数变少了？谁特幺在导数据往里狂灌呢首页打开慢了，总加载失败，什幺问题，照片有问题吗，哦，刚才网络抖动了db链接数高了，报警啦，为什幺，怎幺突然间就这样了呢，啊，什幺，mc挂了还有一次，也是有用户反馈偶尔会feed加载不出来，各种排查，就是某一行代码处会自动退出，可该行代码无任何特殊之处，百思不得其解，最后请牛人打开coredump，用gdb调试，最后是一个php扩展的bug，会存在越界问题，心中一万只草泥马飞奔而过…。。。。。。。。。。。。
或许这些不真碰到线上问题还真就很难经历，我有幸大多数碰到过，给了我成长也积累了经验总之呢，重点业务要有错误日志记录，熟悉常用的有助于排查问题的日志，利用好监控系统熟悉上下游依赖的关系，相互影响时要重点排查然后经验还是挺重要的，一定要累积
第五章：快乐我有过为了查问题查到凌晨4点多的记录，很遗憾，还没通宵过得出的结论是难查的bug一般不难解决，当查出来之后一般都伴随着“我艹” “我去” “这特幺坑爹”等一系列屌丝用语，但同时也会给自己带来成就感，老子解决它了，我还是有用的程序员（儿子的托马斯系列，每个小火车都争取做有用的小火车）很快乐，就算再晚再饿也值得
第六章：收获线上问题因素很多，所以需要交流的部门也多，各个岗位的人都有可能接触，我深知自己不是一个擅长交际的人，但在工作中，在排查问题中我也结识了很多小伙伴，开放平台的，动态平台的，数据平台的，统计部门的，pc端的，无线端的，合作业务部门的等等，在查问题的过程中会和他们保持联系，慢慢形成关系圈，谁有问题都能第一时间想到对方，平时多些沟通交流也能更好的促进工作，关系亲密的没事扯扯蛋，关系好的相见如宾，很感谢每个半夜被我们从温暖的被窝叫起来的同仁们，也很感谢为了我们的线上问题奋战到半夜的伙伴们，是你们一起保障了我们的服务。辛苦了！

完！ （写个长文真尼玛累）

赏

打赏的人

上一篇  下一篇

I 相关 / Other

塞巴斯蒂安：微笑的脸 —— 一份观察报告

所有人都在看他那张脸——上翘的眼尾纹路，灰绿色玻璃眼珠，眉骨很美，眼窝很深，眼周很干净，他站在光亮中

点不着的烟

人的一生，到底要经历多少磨炼？才能长大？多少次被出卖？才能成熟？多少次心碎？才能领悟？多少次醉倒？才

西点军工1：再论军工股“3231”投研体系

【军工产业的“黄金十年”自2013年开始，未来十年的军工行业就是十年前的房地产业，对于每一位认真参与市场

年线争夺战能打赢吗？

【花荣私人操盘日志】1、今天大盘：平衡市；2、下个交易日感觉：平衡市；3、短线操作计划：用万能公式选股、

文艺小清新钩针小物件附图解

--------------------------------------------------------------------------------------