在上一次的分享中，借由资讯图表的帮助让我们对于《巴拿马报告》（Panama Paper）能够快速又正确的掌握基本讯息，进而能够开始展开对于资料的诠释及应用——探索式资料分析（Exploratory Data Analysis，简称 EDA），就是运用视觉化、基本的统计等工具，来“看”一下资料；以期进行复杂或严谨的分析之前，能够对资料有更多的认识。今天，就以一个资安小故事，让我们演练一下在资料分析的方法论中，能够让你事半功倍的“探索式资料分析”。
故事是这样开始的：
Data Genetics 的一位分析人员收到一封朋友寄来的笑话，信中宣称“震惊全球的事实！世界上所有的信用卡 PIN 码都被破解了！”——接着就列出了一连串从 0000 - 9999 的数字。（信用卡 PIN 码其实就是一组四码的数字密码，在国外刷卡消费时作为认证使用，等同于我们在台湾刷卡时的签名这个动作）因为四码的密码就只有这一万种组合，所以看到这种“废文”般的笑话大多数人当然是一笑置之；然而，这引起了这位分析人员的兴趣：短短的四个数字里面，哪些密码是最容易被猜中的呢？
现在，让我们跟着这个故事，演练在资料分析的方法论中，如何进行“探索式资料分析”：
首先，显然地 Data Genetics 不是信用卡或银行单位、也不是专门攻击这些单位的黑帽骇客；身为一个资料科学家，资料的取得是很重要的一环；当无法取得原始资料或是完整资料、资料来源受到限制的时候，就必须做出假设，并根据这些假设取得合理的资料来源，透过适当的取样、逼近或模拟我们的研究对象。
在这个故事里，分析人员从各种已经公开释出、曝光或被揭发的数字密码资料库与资安漏洞中，过滤出共三百四十多万笔的四码数字密码，并且假设人们倾向于在不同情境中使用同一组密码，将这组资料集作为研究对象，试著从密码组成的频率去分析。
利用基本的统计工具，可以由组成数字的频率直接知道哪一些密码是最常被使用的，换句话说，哪些密码是最容易被猜到的？
分析的结果，不意外地，老梗的“1234”、“0000”、“6969”等规律排列堆叠的数字组合名列前茅。但是，他同时也发现有些特别的规律：例如高居第六名的“1004”在韩文中的读音接近“天使”（从这点我们也可以推测该分析人员使用的资料集有部分应该来自韩国）、还有第二十二名的“2580”看起来毫无规律，但是大家只要拿起手机或看看电话的拨号键，就知道原因了。
即使是简单的统计作图，也能告诉你很多一眼看不出来的秘密。不相信吗？让我们来看看几张让你秒懂密码內幕的图表??
从累积频率图可以明显地看出，少部分的密码就占了绝大多数的比重；基本上不到五百组就把资料集的一半密码都破解了。
例如，“19XX”的数字，都在资料占比的前半段，似乎人们格外偏好“19XX”系列的密码？
可以看到，“19”开头的出现频率确实明显高过其他的组合（同时也看到叠字组合仍是万年不败）；再来看看所有“19??”的分布：
可能跟出生、或是生活中的重大事件有关，“195X”一直到“198X”的出现频率远远高过其他年份，这点也符合直觉——会使用密码的族群主要也是在这些年份出生的青壮年人口为主。
矩阵的视觉化一直是个强大的工具：以四字密码作为范例，可以将其拆成前后两组两位数字的组成，将出现频率描绘在一个 100 x 100 的矩阵中。
越偏白黄的颜色就是频率越高的组合，偏红黑色即是频率低的组合。
透过矩阵的视觉化，我们其实能够直接得到前面的图表中呈现的资讯；换句话说，矩阵视觉化在同样的篇幅中，提供了更丰富的资讯。以上面提到的“19XX”模式为例：
可以看到有一排很亮的直线，它代表了“19”开头的这一排，可以跟前面的“19XX”分布图做个对照，他们其实是说同一件事：可以看成是上图的高度改成用颜色取代，变成了下图的一条直线。
除了“19XX”开头，其实只要是“1XXX”都是相对亮的区域；从矩阵视觉化可以很明显看出界线；不需要另外绘制一张下图这样的相对频率分布就可以清楚的指出来。
将矩阵做灰阶处理后，也可以很轻松地找出“亮点”，把常见的数字组合标记出来。
花了不少的篇幅也介绍了几样工具，不知道大家有没有什么收获呢？如果对于最后提到的矩阵视觉化有兴趣的朋友，在这边也推荐中央研究院统计科学研究所的陈君厚研究员于 2014 资料科学爱好者年会分享的《Collaboration with Statistician? 矩阵视觉化于探索式资料分析》，学习愉快！
延伸阅读：
PIN Analysis by Data Genetics
什么是信用卡 PIN 码？
Collaboration with Statistician? 矩阵视觉化于探索式资料分析
原文网址: http://www.bnext.com.tw/column/view/id/39237
I 相关 / Other
京BN2709车主李喜孟背景资料 扇顺丰快递员耳光 [非常娱乐]
京BN2709车主李喜孟背景资料 扇顺丰快递员耳光 [非常娱乐] 今日微博上热传一条视频，一名顺丰快递小哥疑因剐蹭私家车而遭司机狂扇耳光，啪啪打脸声和司机不断爆出的脏话让人听了很是气愤！晚间，平安北京和顺丰集团
江苏常州外国语学校校长姓名资料照片曝光 [非常娱乐]常州外国语学校是江苏省内较好的一所初中学校，因为教学水平高，是不少家长择校的首选。然而，自2015年年底开始，很多在校学生不断出现不良反应和疾病，家长怀疑
散步被狗撞骨折男子照片资料 狗太凶猛人太脆弱 [非常娱乐]4月13日晚7点，长沙市民李先生在香樟路一新修马路上散步时，不幸被狗撞倒，当即感觉双腿疼痛难忍，随后李先生被送往旁边的长沙年轮骨科医院检查，结果发现双
梅婷老公是谁二胎儿子正面照小名叫什么 曾剑资料背景 [非常娱乐]
梅婷老公是谁二胎儿子正面照小名叫什么 曾剑资料背景 [非常娱乐] 4月17日下午，梅婷在微博晒出与儿子的合影，并配文称：七个月了，快的要命。”照片中，41岁的梅婷身穿白色居家服，素颜面对镜头微笑，母爱满
调查局前澎湖县调查站调查官郑咏钰被控利用法眼系统，查询4笔法人、个人资料交付业者不法运用。郑咏钰于调查局內部调查时坦承泄密，却在检察官面前全盘否认。台北地检署认为，无证据证明郑男交付秘密之个人资料，郑男