用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向学人动向
关键字  范围   
 
何帆:大数据为什么无法预测未来?
何帆:大数据为什么无法预测未来?
2015/12/16 15:47:44 | 浏览:1534 | 评论:0

何帆:大数据为什么无法预测未来?

  我今天不会跟大家讲怎么经商,也不会跟大家讲怎么投资,我主要跟大家分享一些关于如何读书,如何思考,一些个人的体会。我今天的主题是“大数据时代如何创业和转型”,我主要从大数据讲起,就是在我们这个复杂多变的时代,应该如何改造我们自己的学习。

大数据不能预测未来的趋势

  我是个科幻迷,所以我先从一个科幻小说讲起,有一个很有名的科幻作家,叫阿西莫夫,写过一套小说《银河帝国》,不知道大家读过没有。《银河帝国》里面讲了一个天才的数学家,谢顿,他发明了一个新的理论,他把这个理论叫做心理时学,这个就是用大数据。当时银河帝国已经有2500万个像地球一样的星球,人口已经非常多了,不只是几十亿人了,那个量级比我们地球上的人口要大多了。那么谢顿说因为我的数据非常多,信息非常多,所以我可以用这些信息来做一个预测,他讲到每个人都是不一样的,所以我们没有办法预测每个人的行为,但是当你的数据足够多的时候,能够预测历史的变化。书里面比较有意思的就是,他预测银河帝国马上就要分崩离析了,所以他搞了一个计划,到帝国的边缘搞一些基地、基地组织。据说本拉登就是看了这本书,然后把自己的恐怖组织叫做基地组织的。

  后来呢,这个基地组织就经常会出现一些危机,每次出现危机,他们就会把原来谢顿早就已经录好的录像调出来。然后谢顿就现身跟大家说,你看我早就已经预测出来了,你们可能有这样或者那样的危机,我告诉你们怎么去做,因为我有90%的概率预测你们大概要出这样的事情。

  所以从这个小说,我们大概能够说阿西莫夫就是大数据之父,他预言了大数据,但是我要告诉大家的是阿西莫夫错了。在大数据的时代,我们能够预测的恰恰是每个人的行为,我们不能够预测的恰恰是历史,就是未来的趋势,我们是不能够预测的。

  我先讲为什么我们能够预测每个人的行为,我们每个人都认为自己的行为跟别人不一样,每个人都有自己的个性,都有自己的性格。但是当你的数据量足够大了之后,你会发现其实你的生活跟别人的生活是非常一样的。我们很多行为是可以被预测出来的。

  比如说有一个例子,说在美国有一个连锁的超市TARGET,有一个专门销售婴儿、孕妇用品的部门,然后他们会向消费者发送销售产品的广告,塞到你的邮箱里面。突然有一天一个爸爸就找到了TARGET的销售部,说要告他,因为TARGET专门负责销售婴儿、孕妇用品的部门,老把一些广告寄给他还在上中学的女儿。所以这个女孩的爸爸说这是怎么一回事,我女儿还在上中学,你给她寄奶粉、尿布的广告,什么意思啊,我要告你,你侵害了我女儿的声誉,侵害了我女儿的荣誉。

  然后TARGET的销售经理赶紧赔不是,说对不起,对不起,我们搞错了。然后过了两个月,这个父亲又回来了,说对不起,我搞错了,因为我女儿刚跟我坦白了,她怀孕了。其实我们看这个TARGET并不知道这个女孩是谁,对这个女孩并不了解,但是他为什么能预测出来这个女孩怀孕了呢,因为他们掌握了很多关于销售的信息,所以他们可以推断出来。如果一个女士怀孕以后她的消费行为会改变,她的口味会改变,买洗发水的时候会偏好味道比较淡的,他有这个女孩的销售记录,预测她可能怀孕了。

  麻省理工学院有一个实验室就专门研究大数据,以及大数据情况下人的行为。他们给很多人,包括大学生、市民,发智能手机,免费地发,但是条件就是你的智能手机上的信息必须给我,然后他们用这些数据,这些货真价实的海量数据去监测每个人的行为。最后发现,其实我们每个人的行为都是非常枯燥乏味的,每天的生活大部分就是从家里到单位,从单位到家里,你可能会说我上班没有办法,但是到周末的时候我的生活是丰富多彩的。其实大部分人周末的生活也不是丰富多彩,我们会固定到一两家感兴趣的餐厅,比较熟悉的餐厅去吃饭。

  我们会固定地到一些比较常去的商店买东西,比较固定地见几个好朋友,比较固定得去一个电影院看电影,所以你的生活其实很容易被预测出来。比如说现在有一些做大数据的人甚至讲,如果拿到新的信用卡记录,你的消费记录,他们大概有比较大的把握能够预测出来你五年之后会不会离婚。

  听起来是很神奇的,其实这是一个大数的原则,我们大部分人跟别人一样,真正的天才很少,真正的白痴也很少,有钱人很少,但是你说非常穷的人也很少,大部分人在中间,比较中庸的,所以你的行为和别人的行为大体上一样,当数据足够大之后,我们的很多行为是能够被预测出来的。

  当然了,这也带来了一个问题,预测出来之后怎么办,还有一个科幻作家叫菲利普·迪克,也写了一个小说叫《少数派报告》,后来被斯皮尔伯格改编成电影了,电影拍得很好大家可以看看。

  这个小说里面就讲到,比如说如果我按照大数据,推测出你今天可能会作案,杀人的概率大概是90%。那么问题来了,我能不能在你还没有走出家门之前逮捕你,因为我的大数据能够比较准确地预测你今天杀人的概率是90%。

  比如说我如果能够比较准确地预测,你大概很有可能会把车开到天安门广场撞华表,我能不能在你的车还在北京五环的时候就把你扣下来,你说你没有做什么事情,我可以讲我们是有大数据,其实我们蛮有把握你有可能干什么样的事情。这个时候个人的隐私、公共的数据、公共的管理,这之间的关系在以后的大数据时代我们该如何处理。

  另外一个相关的小的提醒,我们很多人一说到大数据就很激动,认为大数据时代我们可以享受到各种各样的好处,但这主要是你作为消费者来说。在大数据时代,享受到便利的同时,必须要让步的是你的隐私权。所以你的很多数据其实都已经在公司的手里,在政策的手里头。

大数据会把你的最后一分钱榨干

  有时候在大数据时代,你可能觉得享受到了超值的服务,但是我要提醒大家的是,在这个时代,如果你认为自己享受到了超值的服务,很可能因为你的最后一分钱已经被商家榨干了。

  有一个公司之前做网上赌场,后来据说有一些别的赌场也采用这样的技术。是什么技术呢?你赌博的时候会有一个痛苦点,你在一个赌场上赌钱损失超过多少钱之后,就会感觉到特别的痛苦,结果就是你以后再也不会去这个赌场了。所以对于赌场来说,最好的办法是在你快达到痛苦点之前让你停下来。

  有的赌场就有这样的办法能做到,比如说你可能在入门的时候领一张卡,但是这个卡里面就有你的信息,比如说你是一个亚洲人,30当岁,男性,大概第几次来,相关的信息他们都有。他们根据这个信息就能够推断你大概的痛苦点是多少,比如说你的痛苦点是五万美元,然后他又有监测,就大概知道你损失了多少钱。当你大概赔钱赔到四万八九千块的时候,你的旁边就会出现一个年轻貌美的公关经理,然后这个公关经理会跟你说,先生玩得累了吧,你很幸运被选为我们的幸运顾客。我们这里有非常好的意大利餐,有非常好的法国餐,我们邀请你去享用免费的大餐。什么意思呢?你觉得这个服务物超所值,为什么这么体贴?实际上这个时候商家比你更聪明,在大数据时代,他会为你量身定做,为你提供这个服务。过去我们经济学里面讲商家不可能搞价格歧视,所有的商品对所有的价格都是一个价格。但现在在大数据的时代,他更了解你的心,比你自己更了解你的心,所以他会量身定做一套服务,单独为你定一个价格,而这个价格一定会把你的最后一分钱全部榨干。

  其实我们每个人日常的生活,大数据完全可以在相当精准的程度上进行预测。什么是不能预测的,未来的趋势是不能预测的,历史是不能预测的,比如说如果要问明年到底股票市场会涨还是会跌?人民币的汇率会是多少?中国的经济增长到底会是7%还是6%,甚至更低?会不会出现第三次世界大战?未来是没有办法预测的,未来的趋势是没有办法预测的。

信息增长的速度太快,真理跟不上

    我再给大家推荐一本书,也是一个投资家写的——《信号与噪音》。基本的结论其实也很简单,讲的什么呢?其实在我们接受的信息里面噪音的比重是非常大的。简单来讲,信息现在的增长速度是非常快的,但是真理增长的速度不可能像信息增长的速度一样快。这个世界上的真理是非常少的,也就那么多,信息增长的速度很可能远远超过真理增长的速度。

  推论是什么呢,很简单,就是在我们拥有的信息里头,噪音所占的比例会越来越高。所以当你拥有的信息越多的时候,你可能不是变得更聪明,而是变得更傻。不信我们来设想,我们很多朋友喜欢投资股票,假设说现在有人开发了一款软件,这个软件能够让你对24小时内在全球任何一个市场上发生的任何一笔交易,全部都能够清清楚楚地拿到相关信息。哇,你是不是会炒起股来有如神助?不会的,你会赔得更惨。因为大部分的信息都是噪音,只会起到干扰作用。所以你也会听说,一些天才股神的办公桌上,并没有很多的电脑显示屏显示股票行情。他的办公桌上可能一个电脑显示屏都没有。为什么巴菲特不到华尔街炒股票,非要待在农村的小镇里面?也是害怕过多的噪音会干扰自己正确的判断和选择。

大数据为什么无法预测未来?

  为什么未来是没有办法预测的呢?因为未来我们的经济系统、政治系统、生态系统等这些所有的东西都是复杂的体系,而复杂体系从本质上来说是没有办法预测的。因为它不是一个线性科学,而是一个非线性的非常复杂的系统。你说我就不信了,现在有大数据,有计算机,有什么是计算不出来的。这个东西还真的没有。我可以告诉大家最简单的复杂系统就是沙堆,你在海边玩,你把沙滩上的沙子堆成一个沙堆,像金字塔一样越堆越高。你有没有想过,能不能把这个沙堆越堆越高,一直堆到月亮上去。不可能,因为当一个沙堆堆到一定高度的时候,再往上放一粒沙子,整个沙堆会像雪崩一样倒塌。这个结果你肯定知道,但是你没有办法预测,你在往上放一粒沙子会倒塌还是放一千粒沙子会倒塌。就像今年的股票市场,A股达到4000点的时候,很多投资经理已经觉得心惊胆战了。但是你说4001点的时候泡沫崩溃还是16000点的时候泡沫崩溃,你不知道,你没有办法预测。

  还真有科学家做过沙堆实验,把沙子一粒一粒堆起来,然后用计算机去模拟,最后的结论就是沙堆是没有办法预测的。你比如说原来有一百粒沙子,再往上放一粒,原来的沙子好象冥冥之中有人指挥一样,会自动地调整位置,达到更稳定的系统。但是当你超过一个临界点,超过一个阈值之后,整个沙堆进入了不稳定的状态,这个时候它随时都可能会崩塌。但是你没有办法预测,因为你再往上放一粒沙子,原来所有沙子之间的相互参数就全部都会变。所以从本质上来讲,我们未来的复杂体系是没有办法预测的。

  尽管这样讲,并不是说我们就要陷入一个不可知论。我只是要提醒大家,我们必须要抛弃掉原来的一些常见的思维错误,未来真的是不能预测的。我们要有更多的防范风险的准备,未来的世界比我们想象中的风险要多很多。

  我前两天有一次在会上见到了上海交通大学的朱宁教授,他专门研究行为金融学。他讲了一个观点我觉得非常有道理,他讲其实中国的投资者有很多最后可能会赔钱。这里面很重要的一点是什么呢,就是大部分中国经济的参与者,没有经历过一个完整的周期,过去三十年,中国经济都是高速增长,所以我们只经历了一个上升的大周期,并没有经历过真正的危机,我们也没有经历过真正的箫条。

  我们大部分人都生活在一个很和平的时期,没有经历过战争,除了我们父母一辈经历过文革,年轻的这一代也没有经历过大的社会动荡。用朱宁教授的话来讲,我们只是经历了半个周期,你会觉得你有很多成功的经验。但是我告诉你,你那些成功的经验到以后很可能都不适用,因为你在下降的周期和上升的周期是不一样的,上山的路和下山的路不是同一条路。

要防火,先放火

  这就是我想跟大家分享的,我们必须要有更多的风险意识。我在中信出的一本书《先放一把火》,为什么叫这个名字呢?原来在国家公园,像美国黄石国家公园经常出现森林火灾,后来公园开始加强管理,只要有小的火灾一定都扑灭,觉得这样就可以防范潜在的风险。零容忍,我们现在也经常听到这个词儿。但是结果呢,火灾越扑越多,火势越来越大,1988年6月份一次森林火灾一直烧到秋天,直到第一场雪,下雪才把火灾扑灭。

  最后大家发现,为什么火灾越扑越多,正是因为你的零容忍政策,哪怕一个小的火灾都扑灭了,最后森林老化的速度变得更快,森林里有很多枯枝败叶都是易燃物质。所以等到有一天真正着火的时候,火势马上就会蔓延开来。大家能猜测到,防范火灾最好的办法是什么,其实就是如果这个火势能够控制住,就让它烧。甚至有时候你要主动地创造一点风险,所以现在黄石公园的管理人员有时候会主动地烧出一些隔离带,真正着火的时候这个火势不至于出现蔓延面积非常大的严重火灾。

  结论就是为了防范系统性的危机,为了防范大的风险,我们必须要忍受小的风险,这个原理在自然中,在我们的经济系统中有大量的经验。比如说地震,为什么会出现地震呢,因为在断层线里面积累了很多的能量,这个能量释放不出来。所以有一个比较另类的想法,有的地质学家建议用原子弹,用核武器去轰炸断层线。听起来好象匪疑所思,但是地震的破坏力往往不止一颗两颗原子弹的威力,相当于好多颗原子弹带来的损失。

  他的这个思路我们姑且不讨论可行性,但是这也是说明,为了避免系统性的风险,你必须要承受一些小的风险。你比如说我们经常讲的金融危机,我们总在说防范金融危机,金融危机是没有办法防范的,爆发金融危机的概率一定是百分之百。就像是人一生中不能防范生病,一生中生病的概率是百分之百,肯定要生病的。怎么办?最好的办法不是让自己一个病也不生,小病也不生,感冒也不生。我们真正要做的是把我们的免疫能力提高。所以我们防范金融危机最好的办法,比如说在现在的情况下,也是你要有一些释放出来的小的风险。如果你一点小的风险都没有,那可以设想最后一旦出问题,一定是一个系统性的金融危机。比如说现在,P2P有很多跑路的跑路,破产的破产;还有更多的泛亚的投资者微信上,我们看到正在打宋鸿兵;我们看到地方的贷款也很高,很多地方的债务问题很严重……所有的问题都有,怎么办?如果所有的风险都不让它爆发,所有的风险还没有出现,我们就把它完全制止住,那么最后的结果呢?一个人不可能一辈子不生病,你只要有病,还没有等到发作就遏制住,最后很可能得了一场小小的感冒就死掉了,因为你没有免疫能力。

  人为什么会发烧,其实发烧就是我们的免疫系统在起作用,发烧的身体温度会升高,借此杀死病菌。我们为什么会打免疫针呢?免疫针打的实际上就是一些病毒,这些病毒是经过改造的,是没有办法繁殖的。实际上,这也是我们有意制造的一些小风险。当你的疫苗打下去之后,身体的免疫系统出现反应,实际上是锻炼你的免疫能力。

  我在这本书里面还在几篇文章里面讲到,我们如何能够防范风险,避免大的失败。比如说我们都在讲互联网时代要互联互通,但是其实有时候去耦合也是很重要的。互联互通有互联互通的方便,但是一旦出现风险有可能是系统性的风险。所以考虑到互联互通的便利的同时,需不需要有时候有一个备份,而且这个备份一定是在出现系统性危机的时候还能够从零开始。我觉得这里面哲学的含义是非常深刻的,大家慢慢去体会。你必须要考虑到,在最糟糕的情况下还能不能东山再起。

创新没那么神秘,混搭也是创新

  还有,避免风险不是说消极等待,我们必须要积极应对,我们必须要创新。最好的创新是什么,其实是你身边的小的创新。最好的创新就是从你最熟悉的地方开始,往外迈出去一脚,试试看,到底下一个石头牢固不牢固,再往前或者往左右迈一步。通过摸着石头过河,渐进式的改革逐渐地达到胜利的彼岸。如果你一开始就惊险的一跃,可能会出现大的技术革命,也可能死无葬身之地。

  很多创新也不是我们想象中的那么神秘,很多创新其实就是叫混搭。就跟我们穿衣服讲的混搭一样,所谓的混搭就是不同的搭配,很多东西已经存在了,你把已经存在的东西用另外一种别人想不到的方式重新组合一下,这个东西就是创新。

  你说这个东西有什么难的,是没有什么难的,但是大部分的创新都是这样来的。我们看到大部分的技术进步,如果仔细地拆开看的话,都是由一点一滴的边际上的改良带来的。所以这才是真正的创新,我们必须学会尊重这种细枝末节的创新。

  前两天我看几个经济学家在讲万众创新,大众创业。他们说怎么可能有大众创新呢,因为创新都是小众的。我觉得这个还真是太把创新当成一回事了,创新还真没有那么神秘,创新真的是能够大众来创新的,每个人实际上都是可以创新的。如果你是一个企业家,你最后能不能在没有办法预测未来的复杂的情况下,还能够非常好地生存下来,其实是看你这个团队的创新能力,而这个创新能力取决于你团队中每个员工的创新能力。所以团队的创新能力是最重要的。

  这里面就有很多在管理方面我们需要注意的问题,和需要借鉴的理念,是和传统的管理理念不一样。传统的管理理念在和平时期、常规时期是适用的,它教你如何把流程做得更精细,把你的效率更加提高,这当然是需要的。但是在革命时期,有时候我们还真做不到这一点。所以要多向当年的游击队学习,多向当年这些革命党学习,因为他们每一个都是非常创新的团队。

  创新企业的公司文化一定和常规的企业公司文化不一样,如果说句政治不正确的话,创新企业很可能更像黑帮,这个黑帮里面更注重团队之间的合作,更注重写不下来的规则,有很多规则是大家之间的默契,然后更加需要带有一点匪气、一些霸气。大家去体会一下,其实在草莽时期的创业企业都是这样的风格,当然了,你不能永远都是黑帮。永远都是黑帮,你的企业自己不失败,到时候政府也会让你失败,抓你去协助调查。但是开始的时候要容忍你的员工,让企业里面的小团队都能够有更多的机会去尝试,要容忍失败。所以我跟很多企业家朋友讲,我说你们这个企业能不能设立一个年度最佳失败奖,这一年谁干得最好不重要,因为你今年干得好可能是运气,明年不一定能干得好。但是失败这个东西是非常好的,因为大家都可以从失败当中学习。就像学霸都知道,你考试考一百分没有什么重要的,因为下一次的题可能跟这次的题不一样。但是你把答错的题都改正,保证不再犯同样的错误,这才是真正的学习之道。

何帆:大数据为什么无法预测未来?

相关栏目:『学人动向
康德诞辰三百年|苏珊·奈曼:为什么这个世界仍需要伊曼纽尔·康德 2024-04-23 [3]
两个老头儿写的神奇算法,统治了全世界! 2024-04-23 [2]
所罗门诺夫:大语言模型的先知 2024-04-23 [2]
顶尖名校近7亿美元经费被冻结,只因一教授忘交结题报告 2024-04-20 [139]
张寿武:方程无解,求之不得 2024-04-20 [102]
关于陈算法的背景以及更新 2024-04-20 [76]
他们正在离开学术界 2024-04-17 [151]
孙立平:人类历史上的三次大分岔 2024-04-16 [139]
阿贝尔奖得主阿维·威格德森三年后再获图灵奖!; 丘成桐:我们对基础科学的重视程度仍待提升 2024-04-16 [130]
周文星 | 美国战略界“保台派”的兴起、批判及其未来走向 2024-04-15 [234]
相关栏目更多文章
最新图文:
:北京452万人将从北京迁至雄安(附部分央企名单) :《2019全球肿瘤趋势报告》 :阿尔茨海默病预防与干预核心讯息图解 :引力波天文台或有助搜寻暗物质粒子 :Sail Through the Mist - SoCal Innovation Forum 2019(10/5) 游天龙:《唐人街》是如何炼成的:UCLA社会学教授周敏的学术之路 :“为什么海外华人那么爱国,但是让他回国却不愿意?...“ :学术出版巨头Elsevier 彻查433名审稿人“强迫引用”黑幕
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2024 ScholarsUpdate.com. All Rights Reserved.