下面是小编整理的大数据时代思维方式(共含10篇),欢迎阅读分享,希望对大家有所帮助。同时,但愿您也能像本文投稿人“阿宝仔”一样,积极向本站投稿分享好文章。
这个问题的解决,首先是需要我们对大数据这个概念有一个真正的科学认识。现在的一些权威性研究性机构和文献,都在试图对大数据进行学术性的界定,其观点,大体上比较一致。什么是大数据呢?美国、英国等国家的有关专门机构和专业刊物上,对大数据概念的内涵都提出了自己的解释,我国的有关机构,特别是专业学者,也同时提出了自己的一些独立学术见解。综合起来看,基本观点主要是,所谓大数据是指一般传统工具无法处理的海量的、高增长率、多样化的信息资源;大数据反映的是网络时代的一种客观存在,即那些难以用传统工具认知的有巨大挑战性质的数据;大数据是指那种无法在一定时间内用常规软件工具处理的数据集合;如此等等。因为大数据作为一种巨量的数据集,能够从其中挖掘出各种有价值的信息,所以日益受到重视。
从这些界定中可以看出,大数据是超出了传统意义上的、极其巨大的、具有特殊价值的数据信息资源。但是,对大数据这样的界定,仍然是一种实体性质的描述,所以,还不能说是揭示了它的本质。那么,大数据的本质究竟是什么呢?在我看来,所谓“大数据”,已经不是一种具体的物理时空概念,而是一种哲学理论层次上的科学概念,也就是说,大数据本身已经具有了高度的理论抽象性质。据此,我们还可以大胆做出这样的判断:大数据已经不是一种具体的物质实体,本质上是一种抽象的哲学概念。面对着物质发展的这个崭新世界——大数据,我们那些常规的认识方式,已经不可能深刻认识它的特殊本质特征了,这就决定了在大数据时代,我们在认识领域必须来一次思维方式的根本性改造。
大数据作为人类实践和认识的一种特殊形式、特殊成果,要求我们对长期以来形成的经验主义主观演绎思维方式进行认真改造,牢固形成客观理性的实证思维方式。
作为现代科学认识形式的大数据,标志着自然科学已经走进了理性认识即理论认识的领域,这本身意味着在这个问题上,我们必须克服方法论上的经验主义,而代之以客观理性的实证思维方式。对这一点,恩格斯是有先见之明的。他说过:“经验自然科学积累了如此庞大数量的实证的知识材料,因而在每一个研究领域中系统地和依据其内在联系来整理这些材料,简直成了不可推卸的工作。于是,自然科学便走上理论的领域,而在这里经验的方法不中用了,在这里只有理论思维才管用。”
如果我们认真思考一下就可以明白,对作为现代科技发展高级阶段的大数据的研究和运用,仍然靠以经验主义为基础的那种演绎思维方式来进行,不走进理性的思辨思维即理论领域中去,显然是不行了。这就是说,在面对着大数据这个现代高科技形式,思维方式的根本改造,已经是不能回避的事情了。当然,在这里,我们所面对的大数据,毕竟是处理信息数据这样的客观问题,所以,不能搬用纯粹的理论思维,而必须运用以理性为基础的实证思维方式。这里所说的理性实证思维,是指以理论形态的信息数据这样的客观根据,来证明结论的真理性。认识论的经验教训告诉我们,这样的思维方式,能够在更高的理论层次上达到追求真理的目的,从而避免经验主义思维方式的弊端。
大数据这样特殊的高新科技发展形式,它的正常运行和充分作用发挥,另一个重要条件,是要求我们克服各种各样实际上的封闭性思维方式,树立起真实的开放性思维方式。
很显然,大数据时代思维方式的这种改造,是由大数据本身的本质特征决定的。我们可以看到,无论是一个地区、一个国家,还是在世界范围,大数据的形成和运行,是以一种真正的开放形态存在着的。我们甚至可以这样说,不管是在什么样的范围里,没有真正开放的社会环境,就不可能有大数据这样高科技形式的真正存在,这样的现代高科技也不可能发挥它的特殊作用。
我们这里所说的大数据的开放性,是指它本身的无限发展特点。我们可以想象,就任何一个数据集合本身而言,无论是在时间上还是在空间上,不存在一种量的框框,因为它总是处在一种不断的生生息息的发展过程中。这就决定了大数据的存在和运行是没有边界局限的,也就是说,对大数据来说,不存在地区界限、国家界限;这个事实本身也在告诉我们,任何一种大数据、每一种数据本身是开放性的存在,各种数据之间也必然是互相开放着的,否则,它们就不成其为大数据了。实践证明,大数据这种彻底的开放性本质,对思维方式的改造是具有革命意义的。
大数据的这种特殊本质,要求我们必须以完全开放的心态对待它的运行和发展,从而形成与大数据本身相一致的广阔思想视野,这样才能把大数据真正视为各个地区、各个民族、各个国家的共同财富,互通有无、共有共享。这恰恰是真正的开放性思维方式的本质要求。
大数据时代所要求的开放性思维方式改造,对于我们目前的社会科学研究,特别是马克思主义研究,是非常重要的,而且也是社会科学深入发展的一个契机。因为,我们在这方面的许多研究工作,实际上还是在封闭的状态中进行的,特别是在世界范围内,更是如此。事实证明,这样的研究方式,无异于把自己禁锢在某种理论框架中走投无路,或者是陷入某种思想深坑不能自拔。出路何在?在广阔的开放视野中,放眼世界,走人类文明发展的共同道路。
大数据科技形式的正常运行、其作用的充分发挥,还有一个重要条件,这就是要求我们把一元性思维方式改造为充满活力的多元性思维方式。事实证明,由大数据催生的这种思维方式改造,其意义远远超出了大数据的运用范围,它的深刻影响将在各个方面显示出来。
大数据为什么会催生思维方式的这种根本性的改造呢?这里涉及对大数据之“大”的科学理解问题。一般来说,数据之“大”,与数据之“多”是具有相同意思的。当然,这里说的“多”,并不仅仅是个实体量的概念,而是数据——信息之质与量统一的表现形式。这就是说,大数据不仅是一种极为巨大数量的信息群,而且同时也是各种各样不同性质数据形成的信息集。这样,就必然形成各种各样不同性质数据的独立并存,这就是我们称之为大数据的多元性存在之本来意义。很显然,大数据存在和运行多元性的这个客观事实,要求我们对其所应该形成的正确思想反映,在逻辑上只能是多元性思维方式,而绝不应该是单一性思维方式。
为了适应大数据时代的要求,甚至可以说,为了迎接高新科技时代的到来,我们必须对一元性思维方式进行根本改造,代之以多元性思维方式。从本质上看,所谓“大数据”,是一个实际上的多元世界,丰富多彩的世界,异彩纷呈的世界,个性鲜明的世界,因而是一个充满了活力的世界。这个科学技术发展的事实,必然要求我们改变陈旧的思维方式,破除一元性思维方式,确立起一种能够正确反映这个新科技时代的世界本来面目的那种多元性思维方式。
改革开放以来的鲜活经验告诉我们,面对着充满活力的现代社会,特别是高新科技带来的勃勃生机,必须下决心改造各种陈旧的思维方式,更快地确立多元性思维方式。
在现代科技发展中,通过思维方式的改造,特别是确立开放性、多元性思维方式,其意义不仅有益于科技事业发展本身,而且还会推动社会的发展。因为这种开放性、多元性思维方式的形成,意味着整个社会正在朝着自由人的联合体这一历史性方向前进。虽然这只是一个起步,但是,却具有极为深远的历史意义。
总体思维
社会科学研究社会现象的总体特征,以往采样一直是主要数据获取手段,这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得与分析更多的数据,甚至是与之相关的所有数据,而不再依赖于采样,从而可以带来更全面的认识,可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道:“我们总是习惯把统计抽样看作文明得以建立的牢固基石,就如同几何学定理和万有引力定律一样。但是,统计抽样其实只是为了在技术受限的特定时期,解决当时存在的一些特定问题而产生的,其历史不足一百年。如今,技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下,我们依然可以使用样本分析法,但这不再是我们分析数据的主要方式。”也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,我们可以更加方便、快捷、动态地获得研究对象有关的所有数据,而不再因诸多限制不得不采用样本研究方法,相应地,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识总体状况。
容错思维
在小数据时代,由于收集的样本信息量比较少,所以必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论在推及总体上就会“南辕北辙”,因此,就必须十分注重精确思维。然而,在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面也对传统的精确思维造成了挑战。舍恩伯格指出,“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户”。也就是说,在大数据时代,思维方式要从精确思维转向容错思维,当拥有海量即时数据时,绝对的精准不再是追求的主要目标,适当忽略微观层面上的精确度,容许一定程度的错误与混杂,反而可以在宏观层面拥有更好的知识和洞察力。
相关思维
在小数据世界中,人们往往执着于现象背后的因果关系,试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系,获得更多的认知与洞见,运用这些认知与洞见就可以帮助我们捕捉现在和预测未来,而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系,以及复杂的非线性相关关系,可以帮助人们看到很多以前不曾注意的联系,还可以掌握以前无法理解的复杂技术和社会动态,相关关系甚至可以超越因果关系,成为我们了解这个世界的更好视角。舍恩伯格指出,大数据的出现让人们放弃了对因果关系的渴求,转而关注相关关系,人们只需知道“是什么”,而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因,而只需要通过大数据分析获知“是什么”就意义非凡,这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说,在大数据时代,思维方式要从因果思维转向相关思维,努力颠覆千百年来人类形成的传统思维模式和固有偏见,才能更好地分享大数据带来的深刻洞见。
智能思维
不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展,“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说,自进入到信息社会以来,人类社会的自动化、智能化水平已得到明显提升,但始终面临瓶颈而无法取得突破性进展,机器的思维方式仍属于线性、简单、物理的自然思维,智能水平仍不尽如人意。但是,大数据时代的到来,可以为提升机器智能带来契机,因为大数据将有效推进机器思维方式由自然思维转向智能思维,这才是大数据思维转变的关键所在、核心内容。众所周知,人脑之所以具有智能、智慧,就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结,获得有关事物或现象的认识与见解。同样,在大数据时代,随着物联网、云计算、社会计算、可视技术等的突破发展,大数据系统也能够自动地搜索所有相关的数据信息,并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见,那么,无疑也就具有了类似人类的智能思维能力和预测未来的能力。“智能、智慧”是大数据时代的显著特征,大数据时代的思维方式也要求从自然思维转向智能思维,不断提升机器或系统的社会计算能力和智能化水平,从而获得具有洞察力和新价值的东西,甚至类似于人类的“智慧”。
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。[1]
麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。[4]
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。[5]
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2]
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
全脑思维是从多角度、多视野去生发和联想的思维模式。全脑思维教育就是全脑功能开发、全人教育教学。从事这种教学,教师、学生、家长以及社会都必须转变教学观念,变以传授知识为中心的课堂教学模式,为以“终身学习和终身发展”的育人、发展人、提高人的综合素质的全人教育为中心的教学模式,统一在学科教育之中,教单科育全人。
我们在O2O时代做营销,到底哪种趋势和战略更加有效?这里有两种不同的思维方式,一个是互联网思维,另一个是大数据思维。
互联网思维与大数据思维有交集但又不重合。目前热炒的互联网营销案例,基本上剥离了大数据,更多是题材炒作和传播方式炒作。而大数据营销也不局限于互联网,它还包含了线下营销。
营销艺术与科学之辩
如何看待这两种营销思维?事实上互联网思维和大数据思维的PK,本质是关于营销的艺术和科学之争。一个流派认为营销是门艺术,只可意会不可言传;另一流派则把营销当作科学对待,通过对消费者行为数据的收集和分析,得出优化营销的策略。
互联网思维可以理解为三个关键词——体验、话题、传播。体验是消费者在使用产品或享受服务时体验到的感觉,以互联网媒介可以迅速将体验转化成话题传播出去,传播之后又引发新的体验,进而引发更多的话题及传播。
大数据实际上是营销的科学导向的自然演化。大数据思维有三个纬度——定量思维、相关思维、实验思维。
第一,定量思维,即提供更多描述性的信息,其原则是一切皆可测。不仅销售数据、价格这些客观标准可以形成大数据,甚至连顾客情绪(如对色彩、空间的感知等)都可以测得,大数据包含了与消费行为有关的方方面面;第二,相关思维,一切皆可连,消费者行为的不同数据都有内在联系。这可以用来预测消费者的行为偏好;第三,实验思维,一切皆可试,大数据所带来的信息可以帮助制定营销策略。
这就是三个大数据运用递进的层次:首先是描述,然后是预测,最后产生攻略。
一切皆可测:迪士尼MagicBand手环
美国迪斯尼公司最近投资了10亿美元进行线下顾客跟踪和数据采集,开发出MagicBand手环。游客在入园时佩戴上带有位置采集功能的手环,园方可以通过定位系统了解不同区域游客的分布情况,并将这一信息告诉游客,方便游客选择最佳游玩路线。此外,用户还可以使用移动订餐功能,通过手环的定位,送餐人员能够将快餐送到用户手中。利用大数据不仅提升了用户体验,也有助于疏导园内的人流。而采集得到的顾客数据,可以用于精准营销。这是一切皆可测的例子,线下活动也可以被测量。
一切皆可连:网上订餐追踪系统
一家做订餐配送的互联网企业,在送外卖的自行车和汽车上安装一套软件和追踪系统,从配送外卖中采集了大量数据,如谁订了什么外卖、经过什么路线、到了谁的家里……而通过对数据的分析,可以得出哪家餐馆的什么外卖比较受欢迎,最快捷的路径是那一条等,在此基础上为商家提供备料建议,并规划一条合理高效的送餐路线。利用分析表面看似无关联的大数据,公司能够提供优化餐馆运营的增值服务。
一切皆可试:电商页面推荐功能
电商购物中,商品页面的其他产品推荐是个重要的功能(例如“买过该商品的人还买过XXX”)。如何量化和优化推荐功能的效果?有研究机构做了这样一个测试:按顺序向用户推荐全部/屏蔽部分推荐/屏蔽所有推荐,经过一个月测试之后,跟踪被测试对象的购买情况,发现不屏蔽推荐的短期效应最高,购买量最多。而屏蔽所有推荐的效果要优于屏蔽部分推荐。而原先购买过商品的消费者在被屏蔽推荐之后,商品的销售额下降更快,因而可以得出推荐功能对有忠诚度的客户作用更大。更有趣的是推荐功能的长期效果。研究发现,不论首次购买过程中用户是否购买了推荐商品,第二次的访问情况都遵循这一规律:未被屏蔽推荐的顾客中,10%的人会再次访问,被屏蔽推荐的访问率是9%,而实际转化成访问的次数是8%,如果再结合老顾客推荐效果会更好,最后会产生超过10%的营收提高。总体看来,推荐的效果更可观。
从描述到预测,再到产生攻略
社交网络分析跟踪,将消费者社交网络上的关键词频率转化为可视化表达,对消费者进行分类,进而做针对目标客群的精准营销,这是大数据营销的描述阶段。
预测阶段的案例是对信用卡使用情况的研究。原先每家银行只能看到消费者的本行刷卡记录,银行据此消费记录对客户实行奖励。其中存在的问题是,客户使用非本行信用卡的消费情况无从知晓,银行无法了解客户的实际消费情况,哪些是隐藏的“消费大户”。解决这一问题的难点在于,他行的数据记录很难获得,因此研究机构就使用第三方零售商调研的数据,通过建立模型,将两种数据融合,再对消费者的实际消费情况进行预测。模型中原先可能年消费只有-3000元的消费者,实际消费达到了4万,这些人成了非常有潜力的银行客户。
在攻略阶段,银行可以根据预测结果调整客户奖励政策,例如给年均消费3000元的客户提高返点,或者提供更丰富的积点兑换产品等,使这部分人群变成银行的忠诚顾客。
东方智慧与西方知识不可偏废
互联网思维如何PK大数据思维?“互联网时代”这个词在中国特别火,但在美国还未听说。这是因为互联网思维更契合传统东方思维方式。东方文化强调智慧,而西方更强调知识,智慧来源于经验,而知识来源于数据。诸葛亮和司马懿是一组典型的智慧PK知识的代表。司马懿是诸葛亮的最大对手,他可能是早期的大数据最佳应用者。从诸葛亮几点睡觉,吃几碗饭,他就能判断诸葛亮活不长了;而诸葛亮则凭借智慧猜出司马义胆子小,不敢进入空城。中国人崇尚智慧,可能更注重互联网思维,但光有互联网思维还不够,还要对数据有更深的认识和更好的运用。
大数据思维不像互联网思维那样令人热血沸腾。最近一项研究表明,采用大数据的公司比不采用大数据的公司利润平均高6个百分点。6个百分点也许不那么起眼,但“积少成多、聚沙成塔”,在激烈的竞争环境中,这是可以让企业生存下来、脱颖而出的资本。在美国排名前十的电商网站中,8家是传统零售商,只有2家是纯电商(亚马逊和易贝)。传统零售商拥有大量数据——沃尔玛一天的数据量达到PB级,这个数据资源能够转化为企业赢得比赛的耐力。由于大数据时代有内在的使从企业从做大到做强的反馈逻辑,企业做大之后会产生更多数据,对消费者的理解也就更深刻,营销更精准,企业变得更强,然后会产生更多的数据,从而形成正面反馈,这是一种最终的数据驱动成长模式。
运用大数据来指导营销决策,是许多并购战略的内在逻辑。
最理想的状态是科学与艺术的结合。可穿戴运动相机制造商GoPro的上市,就是大数据思维和互联网思维结合的成功案例。这家原本只生产实体相机的公司,先是开发出了带有WIFI功能的相机,用户可以将拍摄的照片和视频即时分享到互联网,内在的逻辑是从体验到传播再到分享的互联网思维;此后GoPro进入大数据的分析运用阶段,对用户拍摄的内容进行分类,将内容和潜在的广告商匹配。此外,GoPro还购买了电视频道的转播权,通过数据分析哪些时段适合播放什么内容,再与广告匹配,实现精准营销。GoPro从一家实体相机生产商,拓展出了社交平台,甚至是媒体的功能。
中国人本来就有营销智慧,企业通过大数据的运用与结合,成为互联网时代的巨头,是非常可能实现的。
1.为个性化教育指引实践方向
国际个性化教育协会(InternationalPersonaliza-tionEducationAssociation,简称IPEA)将个性化教育定义为:“为受教育者量身定制教育目标、教育计划、教育培训方法、辅导方案并加以执行,组织相关专业人员为受教育者提供学习管理策略和知识管理技术以及整合有效的教育资源,帮助受教育者突破生存限制,实现自我成长、自我实现和自我超越。”
随着时代对人才需求的日趋多样化,社会呼吁一种教育理念,能够培养出更多富有个性和创新精神的人才、并使之适应未来信息化和知识化社会的变革和发展。在此背景下,个性化教育在国内外教育界成为一个备受热议的话题:英国政府在《愿景》中提出应确保每一位学生不受种族、性别和家庭背景的限制,接受平等的受教育机会;[4]我国政府颁布的《国家中长期教育改革和发展规划纲要(-)》中提出:“关注学生不同特点和个性差异,发展每一个学生的优势潜能。”[5]要为学生构建个性化教育环境,根据学生的实际学习步调和学习情况开展有针对性的学习指导,使其真正融入学习过程中,这就需要对学生已有的学习准备、能力、兴趣和天分、学习风格等进行评估。由于缺乏获取和分析信息的手段和方法,也即缺乏对受教育者的特点和个性差异的了解,我们无法为其提供促进学业成绩和情感沟通的支持性学习环境。卡耐基·梅隆大学(CarnegieMellonUniversity)教育学院简介中写道:“不得不承认,对于学生,我们知道得太少”。[6]这个在传统数据时代使教育者备受困扰的难题,如今出现得以改善和解决的技术和思路。大数据时代思维式具有强烈的个性化特点,在商业领域得以推广的个性化服务,在教育领域也存在同样的实践环境;同时,大数据时代思维方式的前瞻性特点,为教育领域中个性化预测的开展提供了思路。
在大数据时代,学生在学习和生活的过程中留下一串串数字碎片,如课程选择、在线学习、互动和反馈、网络社交行为、校园卡的使用等等,这些数据被整合、挖掘和分析,学习者的行为模式将得以揭示。无论是奥斯汀佩伊州立大学基于“学位罗盘)”系统的个性化课程评估,还是凤(Degree Compass凰城大学和里奥萨拉多学院基于关键因素分析的辍学行为预警系统,或是亚利桑那州立大学通过挖掘Facebook 页面数据提供的个性化学习体验,以及华东师范大学通过校园卡记录开发的“家庭经济困难学生预警系统”,都是将大数据思维运用于个性化教育的尝试和实践。大数据时代个性化的思维方式能够帮助教育研究者重新审视学生的需求,通过高新技术和细致分析找到适切的课程、课堂、教师、校园,从而实现真正意义上的个性化教育。
2. 为教育决策提供科学依据
教育决策的制定必须从实际出发,综合运用现代科学的新成果和先进的技术手段,在科学预测的前提下,切实把握教育对象的变化规律和条件,为实现特定的目标,从多种预选方案中作出优化抉择,以获得最佳的或满意的经济效果和社会效果。[7]对教育决策信息的采集、整理和分析,是进行教育规划和决策的客观依据。缺乏或脱离监测教育发展和支持教育决策的数据,是导致决策质量水平较低甚至失误的重要原因之一。
教育决策信息较为复杂:教育输入信息包括学生入学程度、学生的社会经济背景、学校社区资源的实际投入等;教育过程信息包括教师素质、教学方法与班级实务等;教育输出信息包括学生的学习成果、教师的培训质量等。这些信息大多具有潜在隐藏的特征,加之获取成本较大等因素的制约,往往难以全准确地把握。有些教育机构收集了不少教育活动面、
的基本数据,却缺乏有效地利用和解释这些信息以帮助决策制定的思路和方法;其他一些教育机构,因为得到反馈信息的时间间隔过长而不得不中止信息的收集。即便如此,最终收集到的片面数据和局部数据仍有可能遭到搁置,甚至由于潜在价值得不到发掘而丢弃,最后教育决策者仅凭手头现有的信息作出判断,导致了“拍脑袋”的即兴决策。
与传统数据时代相比,大数据环境下教育决策及时性还是可利用性信息的把握,无论是在全面性、等方面都具备大幅提高的条件和手段。其中,条件源于大数据本身的特性:全面性和及时性体现在数据的丰富来源渠道及自动追踪和留存学习行为的功能之上,可利用性指的是大数据不存在物理设施般的折旧和贬值、能够不断释放隐藏价值;手段意指在大数据时代思维方式指导下对大数据特性的运用:大开放性的特点,能够数据时代思维方式具有综合性、启发教育决策者从多角度、多层面、全方位地利用教育决策信息,思维方式同时兼顾敏捷性,要求教育决策者对海量数据保持高度的信息敏感性,迅速有效地发挥大数据的价值功能。教育大数据有对整个教育活动运行情况监测的功能,有助于教育决策者及时发现问题、解决问题,从而更好地对教育系统进行调控,修改和制定更加切合实际情况的决策;可以通过对不同阶段数据的分析,寻找教育发展变化的规律,以便对未来可能发展的趋势或可能出现的问题进行预测;通过数据的收集、分析和整理将教育现象量化,以定性和定量结合的方式呈现教育结果,方便教育决策者了解教育系统的特征,评估教育发展的进程,以此对教育发展做出更有价值、科学的决策。大数据时代的教育不再是依靠理念和经验传承的社会科学学科,而教育决策也将相应地转变为实证科学中的一个具体问题。
3. 为教育评价拓展新的思路
教育评价是根据一定的教育价值观或教育目标,运用有效的评价技术和手段,通过系统地搜集信息资料和分析整理,对教育活动满足教育主体需要的程度作出的价值判断活动。
创造性思维是大数据时代思维方式的特性之一,表现为在思维活动中突破原有的框架,开拓新领域、确立新决策的思维过程。从信息活动的角度看,创造性思维是一种实现信息量增殖的思维活动。在实施教育评价的过程中,大数据时代思维方式的创造性主要体现为对思维工具即大数据其价值的理解和功能的驾驭上。作为现代教育研究的重要课题之一,教育评价正呈现出几大转变趋势,大数据时代思维方式为相关实践的开展提供了崭新的思路:其一,形成发展性教育评价观,强调以教育评价对象的主体性发展为目的,从学生的需要出发,重视学习过程、学习体验和师生交流。这就需要及时有效地把握学生日常学习过程中的表现、所取得的成绩以及所反映出的情感、态度、策略等方面的发展。如何获取产生于课堂的过程、作业的过程、师生或生生互动过程之中的相关信息,是实现发展性教育评价的一大难题。以互联网与移动互联网作为载体,各式电脑和移动终端无时无刻不在记录关于人的思考、决策与行为。大数据有能力关注每一个教育评价对象在每时每刻的学习活动中产生的微观表现,如激发提问的教学内容、重复审题和修正答案的次数、视线停留在教师身上的时间、合作学习讨论的频率等等。尤为重要的是,这些数据是在特定观测技术与设备的支持下悄然进行的,学生不愿在实验情境下表现出来的行为也将得到完整的呈现。学生的日常学习与生活不受影响,因此数据也更为真实自然。其二,扩大教育评价范围,强调教育评价对象不仅限于学生,还应涵盖诸如课程、教师、学校等对教育活动有重大影响的内容。大数据的数据储备和技术理念使实现包括学生评价、教师评价、学校评价、区域教育发展评价、课程等众多评价对象的综合评价模式成为可能。其三,反思对成绩的片面追求,强调测试分数绝不等同于物理测量单位的直观含义,在教育评价中平均分、排名等)加不能仅凭简单的数字(如原始分、以解读。这与大数据思维中对“数字”和“数据”差异的理解不谋而合。
1、大数据的量,数据量足够大,达到了统计性意义,才有价值。笔者看过的一个典型的案例就是,例如传统的,收集几千条数据,很难发现血缘关系对遗传病的影响,而一旦达到2万条以上,那么发现这种影响就会非常明显。那么对于我们在收集问题时,是为了发现隐藏的知识去收集数据,还是不管有没有价值地收集,这还是值得商榷的。其实收集数据,对于数据本身,还是可以划分出一些标准,确立出层级,结合需求、目标来收集,当然有人会说,这样的话,将会导致巨大的偏差,例如说丧失了数据的完整性,有一定的主观偏向,但是笔者以为,这样至少可以让收集到的数据的价值相对较高。
2、大数据的种类,也可以说成数据的维度,对于一个对象,采取标签化的方式,进行标记,针对需求进行种类的扩充,和数据的量一样,笔者认为同样是建议根据需求来确立,但是对于标签,有一个通常采取的策略,那就是推荐标签和自定义标签的问题,分类法其实是人类文明的一大创举,采取推荐标签的方式,可以大幅度降低标签的总量,而减少后期的规约工作,数据收集时扩充量、扩充维度,但是在数据进入应用状态时,我们是希望处理的是小数据、少维度,而通过这种推荐、可选择的方式,可以在标准化基础上的自定义,而不是毫无规则的扩展,甚至用户的自定义标签给予一定的限制,这样可以使维度的价值更为显现。
3、关于时效性,现在进入了读秒时代,那么在很短的时间进行问题分析、关联推荐、决策等等,需要的数据量和数据种类相比以前,往往更多,换个说法,因为现在时效性要求高了,所以处理数据的方式变了,以前可能多人处理,多次处理,现在必须变得单人处理、单次处理,那么相应的信息系统、工作方式、甚至企业的组织模式,管理绩效都需要改变,例如笔者曾经工作的企业,上了ERP系统,设计师意见很大,说一个典型案例,以往发一张变更单,发出去工作结束,而上了ERP系统以后,就必须为这张变更单设定物料代码,设置需要查询物料的存储,而这些是以前设计师不管的,又没有为设计师为这些增加的工作支付奖励,甚至因为物料的缺少而导致变更单不能发出,以至于设计师工作没有完成,导致被处罚。但是我们从把工作一次就做完,提升企业的工作效率角度,这样的设计变更与物料集成的方式显然是必须的。那么作为一个工作人员,如何让自己的工作更全面,更完整,避免王府,让整个企业工作更具有时间的竞争力,提高数据的数量、种类、处理能力是必须的。
4、关于大数据价值,一种说法是大数据有大价值,还有一种是相对于以往的结构化数据、少量数据,现在是大数据了,所以大数据的单位价值下降。笔者以为这两种说法都正确,这是一个从总体价值来看,一个从单元数据价值来看的问题。而笔者提出一个新的关于大数据价值的观点,那就是真正发挥大数据的价值的另外一个思路。这个思路就是针对企业的问题,首先要说什么是问题,笔者说的问题不是一般意义上的问题,因为一说问题,大家都以为不好、错误等等,而笔者的问题的定义是指状态与其期望状态的差异,包括三种模式,
1)通常意义的问题,例如失火了,必须立即扑救,其实这是三种模式中最少的一种;
2)希望保持状态,
3)期望的状态,这是比原来的状态高一个层级的。
我们针对问题,提出一系列解决方案,这些解决方案往往有多种,例如员工的培训,例如设备的改进,例如组织的方式的变化,当然解决方案包括信息化手段、大数据手段,我们一样需要权衡大数据的方法是不是一种相对较优的方法,如果是,那么用这种手段去解决,那么也就是有价值了。例如笔者知道的一个案例,一个企业某产品部件偶尔会出现问题,企业经历数次后决定针对设备上了一套工控系统,记录材料的温度,结果又一次出现问题时,进行分析认为,如果工人正常上班操作,不应该有这样的数据记录,而经过与值班工人的质询,值班工人承认其上晚班时睡觉,没有及时处理。再往后,同样的问题再没有再次发生。
按特定方向分析大数据的特征会有所帮助,例如以下特征:数据如何收集、分析和处理。对数据进行分类后,就可以将它与合适的大数据模式匹配:
1、分析类型 — 对数据执行实时分析还是批量分析。请仔细考虑分析类型的选择,因为这会影响一些有关产品、工具、硬件、数据源和预期的数据频率的其他决策。一些用例可能需要混合使用两种类型:
2、欺诈检测;分析必须实时或近实时地完成。
3、针对战略性业务决策的趋势分析;分析可采用批量模式。
4、处理方法 — 要应用来处理数据的技术类型(比如预测、分析、临时查询和报告)。业务需求确定了合适的处理方法。可结合使用各种技术。处理方法的选择,有助于识别要在您的大数据解决方案中使用的合适的工具和技术。
5、数据频率和大小 — 预计有多少数据和数据到达的频率多高。知道频率和大小,有助于确定存储机制、存储格式和所需的预处理工具。数据频率和大小依赖于数据源:
按需分析,与社交媒体数据一样
实时、持续提供(天气数据、交易数据)
时序(基于时间的数据)
6、数据类型 — 要处理数据类型 — 交易、历史、主数据等。知道数据类型,有助于将数据隔离在存储中。
7、内容格式(传入数据的格式)结构化(例如 RDMBS)、非结构化(例如音频、视频和图像)或半结构化。格式确定了需要如何处理传入的数据,这是选择工具、技术以及从业务角度定义解决方案的关键。
8、数据源 — 数据的来源(生成数据的地方),比如 Web 和社交媒体、机器生成、人类生成等。识别所有数据源有助于从业务角度识别数据范围。该图显示了使用最广泛的数据源。
9、数据使用者 — 处理的数据的所有可能使用者的列表:
业务流程
业务用户
企业应用程序
各种业务角色中的各个人员
部分处理流程
其他数据存储库或企业应用程序
10、硬件 — 将在其上实现大数据解决方案的硬件类型,包括商用硬件或最先进的硬件。理解硬件的限制,有助于指导大数据解决方案的选择。
(一)相关关系
思维方式的变革,应在实践经验、理论知识的指导下完成,即从了解世界和改变世界两个角度入手,对大数据时代下思维方式变革工作进行全面分析。在早期关于思维方式哲学意蕴的研究工作中,主要针对因果关系对其进行分析,利用对事物的客观评价,阐述其内部存在的制约关系与对应关系。虽然从因果关系对思维方式进行探讨,可至思维方式变革在世界中所具有的作用,但该种探讨方法,却难以针对特定事物进行分析,相关关系探讨模式可有效地改善因果关系下思维方式探讨工作中存在的不足,受到社会各个企业的高度重视,如图书推荐系统或汽车修理预测系统的产生,从而更好地实现大数据时代背景下思维方式的变革。
(二)以大见小
相关关系是将世界整体关系、内在关系的整合,在小数据时代背景下,人们通过最小代价运算的方式,对成果进行预测或推算,这不仅是彰显人类智慧的方式,还是人类思维方式变革的关键阶段。在此基础上,人们在推算数据成本时,会受到推算成本与推算时间的限制,加之缺乏大量数据的参与,使人们无法在数据推算中发现相关关系,若数据因果关系也随之消失的情况下,将难以完成数据推算工作,对此,人们在进行数据样本分析与推算的过程中,需将思维方式进行适当转变,即将以小见大模式转化为以大见小模式。
(三)对混杂数据的整理
大数据时代的来临,是人们对于数据储存和传输、处理与分析的过程,更是时代发展的必经路线。其中针对数据处理问题,仅存在的5%的结构数据能够用于传统数据库数据处理和分析工作中,余下95%非结构数据,则无法利用传统数据库对其进行分析,加之传统数据库主要以数据精确的优势得以生存,但却因处理与非处理数据量的差距,难以符合大时代发展的标准。基于此,对于大时代而言,其在针对数据处理工作中,不应只针对数据的精确度,还应注重数据多样化与多元化特点,采用混杂整理的方式,完成多种数据处理工作,最终实现人类思维方式的变革。
(四)学会遗忘
马克思主义理论在思维方式变革工作中指导作用的展现,传统意义上,人们通过多种方式强化自身记忆,随着大数据时代的到来,可利用计算机软件,对相关数据进行永久性记忆,解决人类传统记忆中存在的不足,如1884年,制表机的出现(赫尔曼・赫勒里特);1930年,模拟电子计算机(范内瓦・布什);1946年,电子计算机(美国军方定制版)。如今,经过百年的发展,关于数据记忆的方式,逐渐由人脑转化为文字和声音、图片与视频等多种方式,即人类已经熟练掌握记忆的多种奥秘。
大数据首先是一种思维方式,现在所谓的大数据更多的是一种技术,一种工具。当然,这种技术和工具的运用也离不开思维方式的改变。
从对事物间关系的认识层面看,人的思维方式可以分为两大类:科学思维和大数据思维。
大数据思维注重事物间的相关关系
科学思维注重事物间的因果关系
这两种思维方式,一直伴随着人类的生活和生产,无处不在,缺一不可。因为人类会自觉不自觉地创造一些理论和模型来“解释”通过大数据思维发现的“结论”,并在此基础上做进一步的预测和分析。现代人如此,古人也不例外。
维克托·尔耶·舍恩伯格在《大数据时代:生活、工作与思维的大变革》中最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。有人说,这颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。这多少有点耸人听闻,甚至有点孤陋寡闻。
大数据思维一直是人类的一种思维方式之一,而且应该比科学思维形成得更早,也更朴实。科学思维应该是在大数据思维之上产生的,而且科学思维中应该也包括了大数据思维,如一些基于统计的学科,其实就是大数据思维的体现和应用。
将大数据时代和小数据时代进行对比发现,前者出现了较大变革,上文在对其进行全面分析后,结合变革情况发现,大数据时代背景下,思维方式的变革趋势主要是由预测性、模糊性、复杂性组合而成,其中预测性:利用数据对未来进行观看,即数据预测,且广泛应用于各行业之间。模糊性:通过概率对其进行表述,如果对问题无法通过“精确”进行解决,可以尝试从“模糊”角度对其进行解决,这种思维方式的转变,为社会、科技长远发展奠定一定基础。复杂性:用数据进行跨界。在大数据时代背景下,研究可以尝试改变传统的局限性,以跨界的形式进行分析。
大数据思维能使我们在决策过程中超越原有思维框架的局限。每个人都是依据自己对现实的认识和判断而不是现实本身作出行动决策的。以数据为基础的智能决策有两个步骤。第一是对事物的理解和判断,第二是作出行动决策(不行动也是一种决策)。
行动决策会受到决策者价值取向的影响。比如,二次大战末美国打到日本沿岸并调集了比攻打德国时诺曼地登陆更多的军舰云集太平洋准备对日本本土发起攻击。根据对攻占几个日本岛屿所造成伤亡数据的分析,美军预测攻占日本本土将要付出50万美军伤亡的代价。在这个判断的基础上,美国总统杜鲁门做出了向日本投原子弹的决定。结果是减少了美军的伤亡但造成了几十万日本平民的死亡和持续至今的辐射危害,其价值取向是很清楚的。
人们对事物的理解和判断会受制于自身思维框架的局限。一个物理学家在分析一件事物时,会很自然地应用物理定律来思考、理解和判断。所用的概念和语言也会有物理特征(时间、速度、场、重量、质量、作用力、反作用力等等)。一个社会科学家在分析一件事物时,脑子里出现的框架是人际关系、社会地位、历史背景、社会效益等等。所用的概念和语言带有社会人文特征。搞理论工作的和搞实际工作的思维框架也很不同,前者重视逻辑性、系统性,而后者更重视时间性和可行性。即使是同行业的人也会因年龄、经历、环境、学历不同而产生不同的思维框架。
当同一现象和信息进入不同人的脑子里时,它会被不同的思维网路过滤、不同的思维方式处理,最后的结果是对同一现实产生不同解读。没有一个思维框架,我们无法理解和判断一件事物。但思维框架本身又对我们的认知产生了一个很难逾越的局限。
大数据思维不是从某个人的思维框架出发,而是让海量数据碰撞,寻找相关性,先看到结果再分析原因。这就冲破了原有思维框架的局限。比如,美国一家零售商在对海量的销售数据处理中发现每到星期五下午,啤酒和婴儿尿布的销量同时上升。通过观察发现星期五下班后很多青年男子要买啤酒度周末而这时妻子又常打电话提醒丈夫在回家路上为孩子买尿布。发现这个相关性后,这家零售商就把啤酒和尿布摆在一起,方便年轻的爸爸购物,大大提高了销售额。
大数据思维可以引发城市管理的新方法。自从美国大使馆每天公布PM2.5指数以后,城市空气污染的问题得到了中国各个城市政府和市民的重视。每天PM2.5检测数据的采集成为环境保护和管理的一个重要任务。如果一个统计学家按照原有思维框架来设计检测数据采集,他会从统计学原理出发在市区有代表性的不同地点定时采集和上报数据。其结果是数据量有限,费用高,检测覆盖率和准确率低。应用大数据思维,某市环保部门考虑将上万个手持检测仪发放给散居各处的市民检测并通过手机上传数据。通过手机定位,环保部门可以确定每个数据的测量地点和时间,大大提高数据采集的覆盖面和精确度。
大数据思维可以对历史数据的分析提供新思路。中国人讲究作学问要“读万卷书,行万里路”。用大数据思维,读万卷书在今天并非难事。美国的国会图书馆正在将藏书全部数码化。以后通过电脑“看书”搜索关键词,分析相关字条和数据将会非常容易,读万卷书可能只是几小时的“小任务”。美国匹兹堡大学公共卫生学院将记录在报纸、报告、微缩胶片上美国各地自1888年以来有关传染病发生和死亡的多元、碎片、海量的数据收集、整理并数码化。通过数据建模和分析,把一百多年的历史“死”数据变活,建立了1888至美国50多种传染病电子数据档案库。用历史数据证明了免疫苗的发明和使用避免了一亿以上的美国人死于传染病。
大数据思维能帮助开创新的商业模式。在美国出现的Uber打车服务和后来中国兴起的滴滴出行(原滴滴打车)是大数据思维产生的经典020(网上网下完美结合)新型商业模式。智能手机在移动互联网时代的普及使实时定位的数据传递和信息沟通成为可能。它为乘客和司机之间的商业交换提供了一个崭新的平台,改变了传统的电话叫车或路边招车,降低了沟通成本和空驶率,极大地节省了司机乘客双方的资源和时间。源源不断的乘车交易和时间地点的电子数据在高速地积累和储存。数据科学家们可以通过对海量数据的分析寻找规律以提高和改进乘客打车出行的体验,找到新的商机和推出新的服务。
大数据思维的核心是要意识到我们已经生活在一个互联网几乎无处不在的世界。互联网将各种信息仪器(手机、电脑、传感器、相机、摄像头、等等)联为一体(物联网),数码化的数据和信息在这个庞大的网上时时刻刻地传递、储存和积累。数码化数据可以被高速处理,而且已经成为新型的、甚至是最有价值的生产资料。矿物可以冶炼成金属、原油可以提炼出汽油,如何将数据加工成信息、产生智能、解决过去无法解决的老问题和开创新的管理和商业模式以产生新价值是对我们的挑战。而迎接这一挑战的第一步就是要懂得和理解大数据思维。
1)人们处理的数据从样本数据变成全部数据;
2)由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;
3)人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。
事实上,大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为,大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧。
大数据的种类,也可以说成数据的维度,对于一个对象,采取标签化的方式,进行标记,针对需求进行种类的扩充,和数据的量一样,笔者认为同样是建议根据需求来确立,但是对于标签,有一个通常采取的策略,那就是推荐标签和自定义标签的问题,分类法其实是人类文明的一大创举,采取推荐标签的方式,可以大幅度降低标签的总量,而减少后期的规约工作,数据收集时扩充量、扩充维度,但是在数据进入应用状态时,我们是希望处理的是小数据、少维度,而通过这种推荐、可选择的方式,可以在标准化基础上的自定义,而不是毫无规则的扩展,甚至用户的自定义标签给予一定的限制,这样可以使维度的价值更为显现。
3月11日下午两节课后,我校全体教师和受邀而来的金南学区各友好学校的领导及教师汇聚于多媒体教室,共同分享、交流《大数据时代》读后感。
老师们从:何谓大数据;立足国情对大数据进行探讨;大数据在教育教学中的主要应用等几个方面畅谈了自己的感悟。
张萌老师说:大数据体量庞大、结构复杂、是产生巨大价值的数据集合。大数据这种方法在中国的国情下需要以更加科学、合适的方式进行实践,不可生搬硬套。
董译雯老师说:在你我感叹《大数据时代》里深植于美国民众血液中的自由、民主、严谨的价值观的同时,可否想过中国教育体制下的孩子们身上还残留多少独立与自我意识?作为典型的八零后,我们这一代人身上最缺失的便是独立思考能力。但愿,我的学生哪怕是因为我所做的一点点努力而开始思考“我”这个字的含义,足矣!
张红杰老师说:很感谢校长给我们推荐了《大数据时代》这本书。在教学工作中,应该有大数据意识,创新意识。学习一些专业的教学统计法、数据分析法,从中发现一些教育现象,并采取相应的策略。让我们的教育教学工作少一些随意和盲目,多一份严谨与科学。
白媛媛老师通过文中的三个事例,结合教学实际,谈了自己教学中对数据使用的价值;结合自己的工作,谈了如何实现工作的最高境界。
交流活动尾声,身为阅读《大数据时代》的倡议者、发起者、以及忠实的读者韩校长幽默风趣的同大家分享了他读后的感悟:我们心中要装着学校,因为我们个人的命运依赖群体的命运;工作要追求精细化,不能做胡适书中的“差不多”先生;尊重数据,拥有数据意识,建立数据团队!
此次活动从寒假期间倡导读《大数据时代》一书,到开学伊始的分组沙龙,再到今日的阅读共享,现已圆满告一段落。相信此次活动定会增强我校全体教师的数据意识,掌握大数据,运用大智慧助推我校的教育教学上一个新的台阶!
★ 大数据时代读后感