007告诉我,多大的数据才有用?给腾讯一个建议,如果连15块钱的腾讯视频会员都开不起,那就别给我推送保时捷的广告了,浪费双方的时间,还不如推送宝洁的广告。
目前我们在享受大数据带来的红利时,同时也给大数据提供了数据来源。互利互惠的大数据,促进了智能时代快速的进步。
例如使用手机照相,在无形中已经用到了大数据。因为相机自动美颜不是根据规则来的,而是将你的脸往所谓“标准的脸”上靠,而“标准的脸”,上面各个尺寸基本上是我们每个人脸的平均值,是大数据统计的结果。手机有很多图像识别功能,而它们也是建立在大数据基础之上。很多人因此沉迷在5000W前置摄像头自拍,谁又会知道拍出来竟然是统一的标准脸。
大数据要求数据量大,这样才符合统计学特征,数据量小一定不符合大数据的原则。因为大量数据可以避免个体差异带来的偏差。例如疫苗临床实验,一定是要满足一定量的实验对象,避免因为个体差异带来的不确定性,这样才能确定药效,而且还不能写100%有效。例如阿里的大数据在购物方面的预测能力,比其他公司的更准确。因为通过淘宝累积了大量的个人购物历史、习惯、爱好等数据,根据这些个数据很容易判断购买行为。
数据具备多维度的特征,而且各个维度最好是正交的,通过交叉验证事情的真伪。例如一个人说谎很正常,一群人都说谎的概率就很低,并不是没有例如皇帝的新装。
淘宝或者京东等电商,能够有效地给我们推荐产品,在很大程度上就是因为它不仅具有了你在网上购物的数据,而且还从其他渠道,包括在我们不知不觉中,获得了生活上的信息。比如,它可以根据你上网的行为,了解年龄、性别和教育背景,根据晚上和白天的地点,了解工作地点和住址,甚至你的工作性质和生活习惯,比如是否经常出差,在什么样的饭店吃过饭,是否爱运动,是否使用名牌产品等等。由于阿里数据收集的时间跨度比较长,它还可以看出人们消费习惯的变化。根据这些信息,它就知道你是谁,需要什么。这就是人物画像,从各个维度对一个人或者物进行定义,标签化。
为什么多维度很重要呢?举个例子,看到网上报道一个出入高档写字楼的白领年薪百万,可能会觉得令人羡慕,过得幸福。但是如果看每个月房贷、扣税、家庭开支等每个月下来也没多少余粮。每周工作时间996而且面临大龄职业生涯风险,那么你还会觉得他很幸福么?那么这个人的个人消费能力其实也是偏弱的,而更多的是面向家庭生活开销。那么聪明的淘宝算法就会尽量给他推送家庭相关的商品,这样促成购买的概率才最大。
数据完备性在过去常常被人忽略,因为过去使用数据,都是采用抽样的办法来获取,根本不可能做到完备。抽样统计有一个问题,就是总有5%左右的小概率事件覆盖不到,如果最后运气不好,正好落在那5%,统计的方法就失去作用了。
现在情况就不同了,因为收集数据的设备无所不在,我们也在有意无意向它输送数据,因此获得完备的信息完全可能,这样一来就堵住了采用数据作预测的死角完备性使得大数据可以算无遗策。特别是万物互联技术的发展,类似神经末梢的触觉不停的收集周围数据。这样就可以有效的避免黑天鹅事件出现,例如皇帝的新装。
大数据是人工智能的基础之一,因为大数据能够快速地提取重要特征值,能够帮助人工智能快速的训练,从而提升整个信息的生产效率。
另外,大数据不仅仅作为一种技术手段,更是一种思维方式。在这种思维方式下,信息和知识的产生不能依赖单一维度的数据。大数据迅速增长的“量”仅仅是表象,所产生数据的多维度才是大数据的本质。利用数据从不同维度对世界的描述,而这些描述间存在着千丝万缕的联系。正是这些有意义的联系,才是使数据具有应用价值的关键,才是使大数据成为数据宝藏的根本原因。因此,多维度才是导致数据量指数级增长的关键。
从总体上看,正是由于大数据的多维度本质,才使得不同维度间的数据间可以建立千丝万缕的联系,并引爆了大数据在多个行业的应用。例如图像识别技术,依靠中国铺天盖地的建设摄像头,目前中国的图像识别技术全球领先,因此诞生了海康、大华等一大批优秀企业。
由于大数据不停地收集数据,导致个人隐私被暴露无遗。至于如何合理地使用这些数据,如何保证这些数据的安全,现在都没有很好的先例可供参考。现在一个人走在大街上,被摄像头图像识别之后,所有相关信息都能展现出来。这些数据大部分在政府部门用于监管倒也问题不大,但是也有一些数据流传到不法分子手上,被用来电信诈骗等非法活动。这样是为什么图像识别技术在欧美等国家无法大规模应用的根本原因,因为一直无法有效解决数据隐私问题。这也是为什么海康、大华等企业被美国列入实体清单的原因。
总体来看,目前正面收益大于负面作用。尽管在数据使用的野蛮生长阶段存在很多滥用的问题,但是大数据带来的社会整体效益是显而易见的。不能因噎废食,但是也要防止警惕大数据带来的道德和法律风险。
说一下文章开头说的大数据杀熟的问题,亚马逊在美国因为杀熟被用户起诉到法院。亚马逊给出的解释是通过大数据提供了更好的服务,而大数据需要更多的资源投入,因此价格更贵是合理的。因为价格歧视是商业社会的基本法则,最后法院判决也是用户败诉。
据来自辽宁省招生考试办公室的消息,辽宁报名2020年全国硕士研究生招生考试的人数近日出炉,全省共有119081名考生报名,比去年增加9514人,增幅8.7%,报...
硬盘是计算机内可以以磁的形式存储数十亿字节数据的一个重要器件。其内部实际上是一些由一根金属杆穿起来的圆形磁片,磁片可以在两面记录数据,每...
记者昨天从北京冬奥组委人力资源部获悉,北京冬奥组委将在今天启动2019年面向社会招聘工作,广泛吸引优秀人才参与北京冬奥会筹办工作。本年度社会招...
辽源日报讯(记者田蓓蕾王彦雨)6月16日晚,市政府党组理论中心组在格局商学辽源分院召开第四次集中学习会议,通过网络直播聆听了清华大学法学院教授...
拍摄景区的古建筑,最令大家烦心的可能是人多!我们都知道,拍照片,简洁一些更好看,那旅游景点人很多,怎么拍到相对干净的场景呢?(1)早到晚出...
海外网10月9日电据朝中社9日报道,朝鲜最高领导人金正恩视察了朝鲜人民军第810部队所属的1116号农场。韩联社分析,这是金正恩时隔27天再次公开露面。报...
众所周知,中东常年战争,不光有各国国内武装分子滋生的内战,还有各国介入引发的国际战争,其中叙利亚战争,就是由内战逐渐演变成国际战争的。政...
在经过前段时间的考研预报名后,2020年的考研也将于10月10日迎来正式报名。2020年考研网上的报名时间为2019年10月10日至10月31日,每天9时至22时;逾期不再...
读创/深圳商报首席记者魏沛娜通讯员杨晓霞从全国志愿服务最早的发源地、制定第一部义工法规,到第一个国际公益组织落地、001号私募基金会注册、第一...
据央视新闻报道,今年的政府工作报告已经提出:要通过稳就业、促增收、保民生,来提高广大居民的消费意愿和能力。其中,重点支持餐饮、商场、文化...