【突破障碍】大数据时代质量工作者生存发展应知道的知识

wxsunhao

【突破障碍】大数据时代质量工作者生存发展应知道的知识
2015-10-18
0 A* z: S% j$ U1 P+ [+ L# ^! J9 H
[size=1em]导读

大数据以其所拥有的大数据量而产生的强大变革，正在彻底改变着我们的生活，与此同时，大数据也会为我们的社会带来一定程度的风险。

在大数据背景之下，为了分享大数据发展所带来的利益并对其所产生的挑战进行积极应对，质量专业工作者必须转变自身观念，获取更多数据和知识，更新自身原有技能，并不断拓展自身的角色。

30年前，约瑟夫·朱兰（Joseph M. Juran）博士创造了“大质量”一词，以描述在质量管理领域正在发生的根本性变化。对此，朱兰博士将产品的质量定义为“小质量”，而将组织所有过程的改进称之为“大质量”。这种“大质量”彻底改变了质量伞所覆盖的范围，并在质量伞之下增加了大量相关内容，从而使质量管理实践及质量管理观念发生了根本性改变。

当今世界也正在经历着另一个从小到大的变革：即由小数据到大数据的变革。对于大数据来讲，其所固有的性质正在从正反两方面深刻地影响着我们的社会，而对于质量专业工作者来讲，则必须学会如何在这种大数据时代背景之下长期生存和持续成功。

何谓大数据
# S6 t8 u) R4 o0 @, C4 b

大数据是指若干组数据的集合，而这种数据集合所包含的数据量极及庞大而复杂，以至于采用传统数据库和数据处理方式无法对其进行有效处理。大数据所包含的巨大数据特点，可以从以下3个方面来理解：

数据储存容量

当前，储存在世界上的数据正在直线增长，2013年的数据容量达到1.2zettabyte（1zettabyte等于1021byte），而到2015年，估计世界数据储存容量将达到8zettabyte，这意味着数字8后面带有21个0。与此同时，数据储存成本则以同样速度直线下降，由二十世纪80年代的每gigabyte（1gigabyte等于109 byte）数据储存成本为100万美元，下降到2010年每gigabyte数据储存成本只有10美分。

数据传导速度

在此期间，数据传导速度也如同数据储存容量增长趋势一样得到了快速提高，从而使数据的生成、收集、储存及处理速度有了大幅度提升，以满足社会对数据的需要。

数据多样化

大数据来源于社会方方面面，如数据库、文件、电子邮件、电话记录、仪表、传感器、影像、视频及音频档案、财务信息等，这些都是大数据的来源之处。进而言之，你的行为、言谈或在电脑上输入的文字、访问过的网站、逗留过的地点、遇见的人…… 等等，都可能会以数据方式被记录和储存在某个地方。

大数据的力量

即使在开始阶段，大数据也已经对我们生活中的方方面面产生了深刻的影响，并极大地加速了经济成长、科学进步及国际化发展。

在大数据时代，巨量数据可以被处理，而在一些情况下，所有与一个特别事物相关的数据都可以得到系统地分析。另外，大数据还可以针对某一事物的若干子类信息进行深度探寻和处理，而这一点是采用传统取样分析方法根本无法实现的。大数据无论是针对私人企业，还是针对公共领域，在决策过程中都扮演着越来越重要的角色。表1中所列出的一些运用大数据进行分析的案例，则仅仅展示出其冰山一角而已。

大数据现在是一种能够产生新经济价值形式的业务原材料。实际上，大数据已经成为了一种价值源，因为数据可以在第一次使用（首次使用）之后，还可以针对不同目的进行一次又一次的使用（二次使用）。

大数据的负面作用

然而，大数据如果没有得到有效管理，可能会对人类隐私、个人意愿及民主制度产生极大的威胁。最近，众所周知的美国国家安全机构监视计划所带来的激烈争论正在全世界范围内发酵，而且还没有结束的迹象。这一监视计划引发了关于在大数据时代如何保护普通公民隐私范围的广泛讨论。大数据不仅仅增加了个人隐私的风险，而且也改变了相关风险的性质。由于大数据可以用于二次使用，这样传统保护个人隐私的方法（如：个人信息通告、准许、决定退出及匿名等）的有效性会受到极大的损害。

在美国，越来越多的假释委员会正在通过大数据进行预先分析，然后根据预先分析结果做出是否准许囚徒假释的决定。另外，越来越多的城市也采用这种预先分析方法，来选择和确定是否应当对某个地点和某个人进行额外监视。

如果针对某人所做出的惩罚或监视决定主要是根据其尚未承认的犯罪可能性，那么这种处罚或监视决定将是非常危险的。这一做法的主要问题恐怕已经远远超出了法律执行范畴，其中包括雇主开除员工、银行拒绝抵押贷款或妻子与丈夫离婚等，只因为任何一件已经发生的坏行为都会引发高度犯罪的可能性。

同样，如果大数据分析结果在预先分析中没有得到正确判定，那么我们所知道的民主制度也将可能会处于危险之中。

转变你的观念
9 N/ E. v" l7 N+ k) y6 Z/ z

如果这样的话，那么大数据对于质量专业工作者意味着什么呢？你是否已经准备好来迎接这一彻底改变你生活及工作方式的变革所带来的挑战？

你必须改变关于抽样大小、精确度及因果关系的思维模式。

第一个观念转变是从部分转变到全部。在小数据时代，你要被迫去处理小数据结果，因为你不可能收集并分析所有数据。为了使抽样统计代表全部人口，你尽可能随机收集抽样数据。

然而，实现全面随机抽样是比较困难的，即便采用随机抽样方法不是不可能的，但随机抽样却很难从子群中抽取到相关数据。随机抽样也具有错失不经常出现但却很重要信息的风险，而偏见也会不知不觉地产生于抽样过程之中，例如回答问卷调查。

在大数据时代，你可以收集到更多的数据，甚至全部数据。利用全部数据可以判明数据之间的相互联系，并可以对数据及其子数据组详细信息进行深度探究。大数据可以使你自由地核对许多假定事物，以及从不同角度密切审查相关数据。大数据还可以减少由抽样引起的偏见，因为数据收集都是在人们正在从事日常活动的情况下进行的。

第二个观念转变是对可能发生的事放宽精确性。在小数据时代，对一件事物通常会尽可能多地要求其具有明确性和确定性。进入到大数据时代，你不必担心某一数据观点会对整体分析造成偏见，因为你可以依靠大量数据进行预先评估。实际上，通过放宽精确性，你可以收集到更多数据来改进预先评估结果的准确性，并帮助你对事实产生更加全面的认识。

诚然，大数据由于其用来收集和分析信息的工具不完善，在某种情况下会产生麻烦。然而，在大数据时代由于追求精确性所产生的困扰通常对事物也是无益的，因为这样会浪费资源，并阻碍收集和分析更多数据的努力。因此，我们不应当把缺乏精确性当作是一个问题，而应当将其视为事实的一部分。

第三个观念转变是对相互关系的因果分析放宽限制。在小数据时代，对相互关系分析的方法选择往往建立在某种假定的基础之上，其准确性要通过相互关系分析来核查，而这一经常带有偏见且仅凭直觉的判断过程不仅进展缓慢，而且成本昂贵。

在小数据组基础上对真正因果关系进行调查常常会不切实际，并经常用来作为确认现有知识和信念的捷径。而在大数据时代，大量数据可供你选择，强有力的计算功能可以快速确定最佳方法。建立在大数据基础上的相互关系分析会提供可能性，而不是确定性；可以告诉我们是什么，而不是告诉我们为什么。在许多情况下，这种快速而便宜的无关联分析已经足够好了，这种分析如同事先提供可能的理由一样，有助于因果关系的研究。

获取更多数据
4 C# O$ l) }% i% f8 D

当今，数据正在成为新的燃料，供驱动经济发动机使用。终有一天，数据价值将作为一种新资产分类出现在公司的资产负债表中。那些在大数据价值链上的相关者，如数据持有者、数据专家及具有大数据观念的机构，无疑将会从大数据中获得利益。然而，归根结底，其最大价值则在于数据本身，这是因为数据常常会说话——数据中总是存在值得人们去学习和认识的知识和信息。数据的价值常常可以通过数据首次使用及其二次使用来获取。

在数据推动一切的今天，那些掌握了大数据的组织将有机会战胜其竞争伙伴，并保持领先地位。一个小而灵活机智的组织虽然规模不大，照样能够健康发展，与此同时，一个不能掌握全部数据的组织将面临为生存而战斗的巨大压力。

质量专业工作者必须帮助其所在组织获取更多数据，并通过大数据分析来协助做出正确决定（如表1中所展示大数据分析应用案例）。

你可以通过自动化和数据推动业务过程获取更多内部数据。大数据不应当只用于撰写报告，也应当用于提取预测解析模式。

通过从政府所拥有的公共数据库中挖掘数据，使预测解析结果不仅能够用于政府管理目的，而且也能够使非政府组织从中获益。

组织可以从私人数据持有者那里购买数据，也可以通过中间人将自己掌握的数据与其他数据持有者分享或合并。通过签署某种业务协议，所有对数据组合并做出贡献的人都可以从这些数据组中获得实际价值。

最后，组织通过针对不同目的重复使用数据组，通过将不同数据组结合为新的数据组，通过针对多种用途将数据组延伸到大数据中，并通过收集自然产生的数据（数据已成为人们行为和活动所自然产生的副产品），可以从数据组中获取并利用更多的价值。在必要的情况下，数据还可以转卖给数据购买者，而一个组织也可以向其数据使用者收取相关费用。

更新技能
* @7 @% m3 u4 Y; V6 H) j0 |8 f  W

在小数据时代，人们所做出的决定主要根据综合相关事实、对事物的看法及有根据推测，而贯穿于一生经验所获得的才能和知识在传统决策过程中发挥着至关重要作用。进入大数据时代，这一切正在发生变化，针对任何决定，都要经过大数据分析才能做出，或者至少要经过大数据确认。

质量专业工作者必须学习和掌握与大数据相关的知识和技能，如统计学、初级预测建模、基础计算机编程等，从而使这些知识和技能在决策过程中发挥有效作用。

关于统计学，相关分析方法及回归分析方法是最需要掌握的。彼尔逊（Pearson）积矩相关系数是最通用的相关分析方法，以测量两个变数之间的线性关系，而史皮尔曼（Spearman）等级相关系数则是针对两个变数之间统计相关性的非参数测量方法。在回归分析方法方面，最小平方是一种通用的方法，而其他回归分析程序还有非线性回归、正交回归及逻辑回归方法。

关于预测建模，决策树是你首先要学习和掌握的一种方法，因为这种方法以其简明而有效的方式受到了大数据科学家们最广泛的青睐和应用。这种方法并不像你所想象的那样复杂。

图1所示为摩根大通（Chase）银行所使用的决策树状图，以预测个人抵债人的预付款所产生的相关风险。这种决策树状图基本上是由若干代表价值试验矩形图而组成的流程图结构，而每一试验结果则直接产生为下一级图示。每个下一级图示会引导出一个新试验，直到做出决定为止（在这一案例中，决策就是预付款的风险）。

为了预测一个抵债人预付款风险，每一个案例采取由高至低倒树状形式，并通过一系列试验来测算，直到做出相应决定为止。例如，这一模型预测抵债人玛丽·鲍赛（Mary Bowser）有26.5%倾向来预付其抵押。这一预测是基于其数据：利率为8.8%、100000美元抵押及80%贷款/价值比率。针对玛丽·鲍赛这一案例的预测分析路径如图1所示。

另外，可以用于预测建模的工具包括人工神经网络、对数线性回归、支持向量机、树状网等方法。如果你想要学习预测建模，可以通过阅读相关网络和书籍，或通过参加网上课程来获得相关知识和信息。

质量专业工作者必须学习如何与大数据科学家紧密合作并一道工作。这些大数据科学家是数据分析、人工智能和统计方面的专家，他们的知识与技能是对质量专业工作者所掌握知识与技能的补充，并为大数据时代带来了新的观念与做法：他们通常已经养成了不带任何预先断定及偏见而让数据说话的专业化习惯。

同样，我们应当遵守目前的政府相关方针和法律法规，以保护我们的社会免受大数据风险的影响，并防止产生数据巨头。为此，未来政府关于大数据方针及相关法律法规发展方向如下：

1. 保持数据使用者对其所作所为负有责任。

2. 实施“差别性隐私”方式，从而使一些数据组合变得模糊不清，这样针对一个数据的询问将只会得到大概的结果。

3. 保证人发挥作用，这样对人产生影响的相关政府及组织所做出的重要决定将取决于人的行为与行动，而不是简单地建立在大数据分析预测基础之上。

4. 建立一个新的专业学科（起一个合适的学科名字），以此来担负起监视和审核责任义务，以及可追溯性和公平竞争的相关工作。

深度探索

在大数据时代，质量专业工作者的某些经验将会失去价值，以前质量专业工作者作为质量卫士的大多数传统工作职能会由计算机承担。质量专业工作者必须探索大数据不能预测的领域：大胆梦想，缜密思考大数据之外的事物，勇于冒险，并发明创造。

另外，质量专业工作还必须成为“右脑思考者”，从而使其能够以高级概念（设计、故事及交响曲）和高级体会（同感、娱乐及意愿）能力来对自己所掌握的专业技能进行补充。其中，设计就是发现方法和机会并创造美的东西；一个具备叙述故事能力的人一定知道如何构思、讲述令人信服的故事；交响乐则如同将不同思想融合到一种新的思想之中；同感就是认同，并理解其他人的感情和态度；娱乐是指从自己的生活中发现乐趣，并从其他人生活中探寻出快乐；意愿则表示对目的和含义的追求。

通过运用全新的观念、强大而有力的数据集以及得到提升的专业技能，质量专业工作者必将满怀信心地迎接大数据的挑战，并在这一新的大数据世界里健康而顺利地向前发展。这就是在21世纪里，大质量为我们所展示的一个非常重要的前景。

信息来源《Quality Progress》

/ j$ z. `2 W/ O+ x, B, Z6 c8 ~