现在注册

登录

忘记密码

忘记密码? 请输入您的电子邮件地址。 您将收到一个链接,并将通过电子邮件创建一个新的密码。

大数据还能火多久?

如题,以后大数据会被人工智能取代?现在的人工智能大概到什么程度?

评论 ( 20 )

  1. Al大数据精准营销可做到线上线下广相结合,目前我们做的小蜜蜂盒子运营系统内含7亿的数据人群!可对95%的媒体平台投放广告,比如今日头条,百度,抖音,搜狐等等。可以针对人群进行广告投放,目前正在招代理

  2. 大数据一直是人类生活的刚需,大数据根据你的行为为你画像,贴上标签,而我们要做的就是通过标签找到你,通过你浏览的网址,APP,固话获取到你的手机号,通过运营商提供的脱敏的后台与你联系,你就成为了我们的意向客户。

    需要精准客户的老板可以与我联系,天网获客给你不一样的体验。

  3. 大数据的意义是由人类日益普及的网络行为所伴生的,受到相关部门、企业采集的,蕴含数据生产者真实意图、喜好的,非传统结构和意义的数据 。

    2013年5月10日,阿里巴巴集团董事局主席马云在淘宝十周年晚会上,将卸任阿里集团CEO的职位,并在晚会上做卸任前的演讲,马云说,大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。

    大数据新手学习交流群,如果有想学习大数据或者交流经验的都可以加入,一起互相学习交流:→→→点击我即可加入圈子

    大数据最核心的价值其实源自于大数据与每个人都息息相关!

    大数据不只是企业需要的,它与每个人已经息息相关:如果银行能及时地了解风险,我们的经济将更加强大;如果政府能够降低欺诈开支,我们的税收将更加合理;如果医院能够更早发现疾病,我们的身体将更加健康;最终,我们都将从大数据中获益。

    其实大数据并不是一种概念,而是一种方法论。

    简单来说,就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向,一个是精准化定制,第二个是预测。比如像通过搜索引擎搜索同样的内容,每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐,或者你到了一个地方,自动给你推荐周边的消费设施等等。

    目前市场对大数据相关人才的需求与日俱增,岗位的增多,也导致了大数据相关人才出现了供不应求的状况,从而引发了一波大数据学习的浪潮。大家可以先了解一下关于大数据相关的岗位分类,以及各个岗位需要掌握那些相对应的技能,并想清楚自己未来的发展方向,再开始着手针对岗位所需的技术进行学习与研究。所谓知己知彼,才能更好的达成目标嘛。

    这里有一套大数据学习教程,希望想学大数据的小伙伴可以看。

    先来个学习线路图

  4. 老杨叔聊志愿填报
    2019年7月10日 于 上午12:59

    作为一种信息资源,还会火很久,不久的将来,大数据的作用会远远超出现在的认知。但是大数据和人工智能不是此起彼伏的关系,也不是对立关系,而是融合关系,互相依存关系。

    如果说石油是工业化时代的最重要的能源,那大数据就是信息时代(已经慢慢过度到智能时代)的石油,是智能时代最重要的能源,和计算力、算法一起成为驾驭智能时代的三驾马车,而大数据是这三驾马车中最重要的一匹。

    大数据的概念也远远超出数据,实际上已经成为左右经济发展和生活的指令。

    商业经营,已经过了依靠决策层的英明神武做出重大决定的时代,重大决定听谁的?大数据。我们的生活听谁的,大数据。2018双11,商家推荐产生的购买量已经超过了自主购买的数量,靠的是什么吗,大数据的分析和预测。同样,双11前,大数据已经通过算法计算出某个城市的购买倾向,已经预先准备好是商品在当地的仓库,只要一下单就很快到达你的蜂巢或菜鸟快递柜,据说准确率超过50%,可怕不。你安排日常消费、投资、娱乐等活动,已经习惯去看趋势和排行榜,趋势和排行榜怎么来的?大数据,可怕不?

    未来,大数据将比你还懂你,无处不在的智能设备让人类成为“废人”,甚至你不需要想什么做什么,智能设备都比你想的还周到,用一句粗话说你一撅腚它就知道你拉什么粑粑,因为它们集合了你日常行为习惯的大数据,成为了另一个你,比你还理性效率高。

    以上纯属外行人的胡说八道,切勿较真。

  5. 首先,大数据、算力、算法是人工智能的三大发展基础。

    根据 IT 桔子(itjuzi.com)数据,在 2018 年内,中国「大数据」相关企业在一级市场获得股权投资金额高达 1405 亿人民币,环比增长 270%。

    数据存储、数据挖掘、数据安全和各行业应用等大数据领域公司频繁获投,且轮次多为 B 轮、C 轮及之后——从 2012 年前后「大数据概念」在互联网和信息行业被频繁提起,到 2019 年,已有相当一部分技术类创新企业生长并发展到技术成熟,走向「大数据应用」

    从普通用户的角度去感知大数据,是高德知道工作日六点半打开地图的你是要回家,自动显示的路线和路况;是美团在中午给你推送的黄焖鸡米饭满减红包;是 X 平台在某个合适时机问你是否有贷款需求;也是政务大厅的小机器人知道你要的一切答案。

    大数据,正在渗透人们的日常生活,以「懂你」的方式给生活带来便捷体验。

    同时另一面,给消费者提供服务的 B 端企业,将数据高效使用可以为大小的运营决策提供理性、科学的判断依据;此外,实际上拥有数据量远超个人和企业的我国各级政府单位,更是在探索手中数据应用上走在了前端。数据已经成为各行业的重要资源和创新动力。

    大数据领域有长远的发展前景

  6. 大数据还能火多久?那品玩君讲一下大数据之殇

    毫无疑问,作为技术概念的“大数据”拥有光明的前途,它是人工智能的基石,是未来世界的“石油”。但作为生意的“大数据”,在中国正走到一个关键的转折点。

    从业者都很焦虑。对大众来说,2019年3月以来,围绕着“大数据”而密集发生的丑闻似乎是一种监管加紧的信号——前有“315”晚会上集中曝光的大数据黑色产业链,后有号称拥有8亿国人真实信息的“大数据公司”——巧达科技被查。但对于一向嗅觉灵敏的中国大数据行业的从业者们来说,这并不突然。

    从2017年底开始,中央网信办、工信部、公安部和国家标准委等部门就开始密集合作,针对国内大数据行业野蛮生长中的各种乱象展开各种行动。进入2018年,相关工作组先后多次对微信和淘宝等“国民级”应用进行隐私保护评估,提出整改意见。同时,重点垂直行业和地方监管机构也明显提高了约谈频率。2019年2月,银监会和保监会约谈银行高管,谈及app收集信息的问题;上海网信办连续约谈辖区内应用程序,而北京市公安部门也在“净网2019”行动中将“非法爬取数据”作为整治重点。

    2019年1月,中央网信办、工信部和公安部牵头的多个机构开始对违规收集数据信息进行专项治理,被业内形容为“史上力度最大”的治理行动。此后,相关部门还着手制定“大众化应用基本业务功能及必要信息规范”,3月,工作组更直接在微信上开通公众号“App 个人信息举报”,直接接受用户的侵权举报,并在4月就对30多款应用提出整改要求。

    在PingWest品玩与近10名来自大型互联网公司数据部门以及“大数据公司”的从业者的接触中,他们普遍认为,315晚会“抓典型”和“巧达数据”被整治,更像是一系列行动的结果,而非开始。

    “其实能感受到所有的环境都跟两年前不同了,美国有Facebook出的事,欧洲又有GDPR(《通用数据保护条例》(General Data Protection Regulation,简称GDPR,为欧盟条例——PingWest品玩注),以前觉得这都不影响我们国内的业务,但去年以来一扭头却发现,国内管得也更严了。”一家总部在杭州的电商公司相关数据算法部门的团队高层对PingWest品玩说。

    然而,无比焦虑的从业者们似乎仍然没有意识到,监管层面的变化背后,本质还是国内广大用户们数据隐私意识的觉醒。

    “我们最近的政策法规研究以及行动的节奏很大程度是受到大众对隐私保护的意识觉醒的影响。”一名接近公安第三研究所网络安全法律研究中心的人士对PingWest品玩透露。他们正参与到多部委联合推进的个人信息保护法律法规研究中。3月上线的“App 个人信息举报”微信公号投诉平台,某种意义上就是在帮助法规制定者们更直接的感受大众的态度。新华社的一篇报道介绍这个公众号处理投诉的方式:“对于用户实名举报的信息,工作组逐一与举报人沟通。”

    很明显,在监管者以及广大用户看来,“大数据”在中国作为一门生意,如今在各个环节都已出现必须纠正的问题。

    谁的数据,被谁拿走了?

    2018年4月23日晚,北京市公安部门公布了此前“巧达数据”被查案件的细节。这也与PingWest品玩与多位从业者探讨时的判断接近:一家被巧达数据爬取过简历数据的公司,向公安举报了巧达。之后北京警方在数个月的调查取证后,将其作为”净网2019“行动中的典型,予以处理并拘捕了公司实际控制人。

    根据警方通报:“嫌疑人通过利用大量代理IP地址、伪造设备标识等技术手段,绕过该公司服务器防护策略,大量窃取存放在服务器上的用户数据…… 经初步查明,巧达科技公司采用技术手段在未经授权的情况下,恶意窃取上述报案公司的用户数据,并将其用于自身经营。”

    也就是说,巧达的问题首先出在其过激的“爬虫”行为上。

    “爬虫”指的是开发者设计一套程式让它按照一定规则,自动抓取互联网上的海量信息。一位曾在巧达数据短暂工作的员工对PingWest品玩表示,他们的团队有不少来自主流招聘平台的员工,他们往往对前公司的系统比较熟悉,能够更高效地爬取平台上的简历,在反爬虫措施出现之前完成足够多的抓取。据他介绍,这种爬取招聘网站简历的方式,在所谓的“简历大数据”公司是一种常态。

    与巧达数据收集数据方式相似的还有许多,比如总部位于上海的e成数据。e成数据的员工对PingWest品玩透露:这家公司的数据来自猎聘和智联招聘等网站爬取,其官方网站声称“积累了1.3亿份有效简历”。今年3月,e成再次获得C轮8000万人民币的融资。

    总部在武汉的“简寻”,同样主打爬取公开简历的生意,其官网显示“产品可通过自然语义处理的技术爬取简历”,实质也是通过爬虫技术爬取几家主要的招聘网站,这家公司在去年完成千万级A轮融资。

    此外从事类似生意的创业公司还有很多,多数处于天使轮阶段。

    “从这个角度看,巧达数据像是被当作典型给抓了。或者也是因为它做的太大了。”上述员工说。

    此外,虽然此次的公告中没有提及,但据PingWest品玩了解,巧达数据还涉及购买“非法获取的数据”的问题。上述员工对PingWest品玩透露:他多次参与过团队在一些业务领域的竞标活动,也就是多家“大数据公司”竞争同一个服务客户,尝试为其提供数据分析等服务。而在竞标前,他们往往会密集从黑市上买进大批数据。

    “巧达自己有许多接口能拿到简历,并不会将大部分精力放到撞库等做法上。但那些数据中介可就不是了,他们每天就是撞库,什么数据都有。”

    “撞库”指的是利用已经泄露的用户信息,去尝试批量破解用户在其他网站上的账号。据巧达离职员工介绍,在特定的招标前,他们会购买与此次竞标贴合的特定类型的数据,用于提供更多维度的交叉验证,让自己的数据能力在竞标时看起来更强。

    根据多家媒体此前的报道,这类提供敏感数据的“数据掮客”大量活跃在暗网中,链条大致是“黑客通过攻击获取数据,之后在暗网卖给一些数据中介,数据中介再转手多次,卖到那些需要这些数据进行精准营销的公司手里。”一位从事数据埋点的工程人员表示。

    “所以,当你看到最后这些公司花了多少钱买来这些高度隐私的真实数据时,其实价格已经翻了几倍,而且这些数据只是露出水面的冰山一角,下面藏着的被获取和交易的数据,隐私和敏感度还要更高。”

    这种生意随着“精准营销”和“个性推送”的走红而需求大增,一些“明星公司”也开始做起类似的生意。最典型的当属新三板上市的数据公司“数据堂”。

    2018年7月,新华社报道,山东省破获的“特大侵犯公民个人信息案”中,数据堂“在8个月时间内,日均传输公民个人信息1亿3000万余条,累计传输数据压缩后约为4000G”,这些数据包括手机号码、上网基站代码等40余项信息要素,“记录手机用户具体的上网行为,甚至部分数据能够直接进入公民个人账号主页”。 而将这些数据以产品的形式出售,是数据堂这类“大数据公司”的重要业务形式和收入来源。

    据上述巧达员工透露,巧达数据自己其实也在扮演着”数据中介“的角色,其CEO曾高调地表示:“简历是最有价值的自然人数据。巧达数据通过大数据及人工智能技术研发的认知引擎,能够快速还原网上自然人的清晰画像。”本质上这部分生意就是在贩卖“真实数据”,这与大部分的“数据中介”所从事的地下业务十分相似。

    随着大数据概念的兴起,中国诞生了一大批自称为大数据公司的初创企业,它们为那些不具备数据采集、分析能力的大量的中小互联网企业提供数据服务,并借此积累起自己的数据。这种长尾效应让他们的数据库也十分可观,他们往往像巧达数据一样,一边会从其他渠道购买数据,一边也会以同样方式销售自己收集来的数据。这些大数据公司和以BAT为代表的本身拥有海量用户数据的公司一同,成为数据最主要的归处。

    而据PingWest品玩接触的包括百分点和同盾等在近几年高调地将自己定义为“大数据公司”的数名现员工以及前员工证实,他们普遍都购入过来自“黑市”的数据,且多发生在一些竞标之前。

    这种事实上违法的获取方式,在这些大数据公司的PPT中,摇身一变以“外部购买”的名义暧昧呈现。“其实业内的人都知道这是什么意思,你能从哪买啊,最大的数据要么就在BAT手里,人家没必要卖给你赚这点钱,要么在政府手里,不会卖给你。你能买到的有用的数据,就只有那些渠道。”

    这背后的数据归属明显存在严重问题。黑产市场的数据掮客,一向是警方严打的对象,他们在非法售卖公民个人信息上的犯罪事实比较明显,尤其在《网络安全法》发布并实施之后,整治和惩罚都更加严格。与此同时,通过爬虫进行数据爬取的行为,在近些年也在产生越来越多的纠纷,监管者也在处理过程中逐渐建立应对的逻辑。

    2015年,新浪微博将职场社交app脉脉告上法庭,指责后者在合作协议之外爬取了大量微博平台上用户数据,并在合作终止后拒绝删除数据。案件经过近两年审理后,在2017年初终审判决,脉脉被判“不正当竞争”。这起案件被许多律师视作标杆性的判罚。其中明确的爬取其他平台用户数据时的“三原则”,在之后贯穿于国内的各类判罚中——当两个平台希望就数据进行分享合作时,数据提供方应首先取得自己用户的同意,之后当数据获取方收集数据时,应获得数据提供分的授权,并且还需要再次告知用户,并再次获得他们的授权。也就是“用户授权+平台授权+用户再授权”三原则。

    在这种逻辑下,2017年大众点评起诉百度爬取其网站数据的案子中,百度败诉;2019年3月,天津市滨海新区人民法院就微信起诉抖音擅自获取微信用户数据一案,给出一份临时禁令,要求抖音停止将微信/QQ开放平台授权登录服务提供给多闪,停用此前获得的微信用户头像和昵称等。而今日头条对PingWest品玩表示,“此案目前没正式进入实体审理,并没有判决。”

    尽管没有直接对爬虫行为进行约束的法律法规,但在这些案例中,最常用到的法规包括《反不正当竞争法》中,第十二条第二款规定的“经营者不得利用技术手段……破坏其他经营者合法提供的网络产品或服务正常运行的行为”。而涉及刑事犯罪时,往往触犯了《刑法》第285条规定的“非法入侵计算机系统”罪。

    爬虫的问题在美国互联网界也屡屡成为争议的焦点,其中《1986年计算机欺诈与滥用法》(CFAA)是经常被援引的条款。CFAA规定,未经授权及超过授权故意访问计算机,并从有保护的计算机获取信息,都构成犯罪。严重者甚至可能是刑事犯罪。

    不过,2017年著名的“hiQ VS Linkedin” 的判决,却显示出与国内大部分判决不同的思路。Linkedin指责创业公司hiQ爬取其网站数据时违法其使用条款,但hiQ认为其爬取的都是公开数据。最终加州法院“站”在了爬虫方一边,认为Linkedin被爬取的数据都是网站上的“公开数据”,且单靠Linkedin单方面的条款和事后发出的警告,都不足以触发《计算机欺诈与滥用法》,反而是LinkedIn有利用市场领先地位不正当竞争的嫌疑,法院要求它解除对hiQ爬虫设置的临时禁令和IP封锁。

    研究个人信息数据保护的公众号“Martin的读书笔记”在分析这些爬虫判例时认为:美国对爬虫“正在慢慢突破合同法思维和CFAA的限制,开始更多考量公共利益的优先性。”

    但仔细观察这些案例会发现,无论是在国内的案例还是美国案例中,更多的关注点在于平台之间的数据归属争议,却往往有意无意回避了一个更重要的问题:在平台彼此争夺数据归属的背后,真正产生数据的用户对数据的归属拥有怎样的权利?

    要回答这个问题,就需要弄明白用户的数据究竟是如何被互联网公司获取的。

    用户知情权与“低隐私社会”之争

    “如果需要,其实我们可以还原你使用我们app时在屏幕上的所有操作。”一名总部在上海的O2O公司数据部门相关负责人对PingWest品玩表示。“你先点了哪里后点了哪里,你上下滑动屏幕的速度,你停留在哪个产品时间较久,我们在后台都知道。相当于给你的所有操作录屏,并且传回了我们这里。”

    当然,这些app并没有真的给你录屏,实现这种“恐怖”的数据收集,依靠的是“埋点”技术。也就是在特定的位置加入相应代码,收集用户在这些位置的操作行为,并发回到后端进行收集分析。这种技术早已是互联网公司的标配,如今常常以一个SDK(软件开发工具包)的形式添加在应用程序里。用户在使用应用的过程中,不知不觉地就被应用收集了所有数据。

    而随着精准推荐的需求越来越高,采集数据的需求也跟着增加。“到最后,数据采集的埋点越来越多,几乎成了全范围的埋点,管它有用没用都先采集回来再说。”上述O2O公司员工说。而在这样的思路下,许多对用户来说十分敏感的数据信息,也成了采集信息的目标。据两名知情人士对PingWest品玩称,今日头条已经开始采集用户安装应用的列表,用于分析用户的特征。而这样的权限在其他一些大厂的数据采集中是“不敢碰”的。

    而对于那些没有能力自己埋点,或自己埋点性价比不高的中小企业来说,则普遍选择使用第三方的SDK(软件开发工具包),这些SDK由近年来诞生的“大数据公司”提供。

    由于这些埋点和SDK的行为都是由互联网应用自己决定,缺少技术知识的用户很难反过来进行监督,无法搞明白自己到底哪些信息被收集。更多时候,是分发这些应用的应用商店来对应用的程序包进行审核。其中,由于苹果的封闭生态,iOS系统的应用都只能通过苹果App Store分发,苹果对应用调取的权限等规定更加严格,iOS系统向这些应用分享的底层数据也较少。但作为开源的Android系统,可以获取的底层数据权限相对更多。

    “比如,同样的一个应用,Android版的往往能更加准确地获得用户的位置数据,就是因为它底层的Wi-Fi列表数据是可以获得的,我通过分析Wi-Fi属于哪个店铺,结合GPS就能获得更准确定位,但iOS的Wi-Fi列表权限不开放给第三方应用。”一名资深App开发人员表示。

    而且,国内各类应用商店也更加鱼龙混杂,在审核上尺度不一。这些因素在一起造成许多安卓应用,在获取权限和收集数据上变得十分贪婪。而尽可能多的获取用户各种行为数据,也成了第三方大数据公司们竞争的焦点。他们推出的SDK要求的权限不断增加。

    据了解Talking Data相关业务的人士介绍,其提供的SDK 有能力收集与用户蓝牙配对的其他移动设备的信息,能够收集Android用户设备上的安装程序列表,一方面可以用于借此分析用户的喜好,另一方面也借此统计各类app的市场占有率,后者是其数据分析业务的重要组成。

    类似的模式普遍存在于这类通过提供SDK而进行数据采集和分析业务的公司中。关注移动互联网行业的人会经常看到如TalkingData、易观和个推等企业发布的行业份额类的数据报告,这背后就是基于它们广泛提供的SDK。

    而近几年,这些公司都开始主打“可视化无埋点SDK”技术,让购买服务的公司可以通过直观的可视化操作页面完成数据采集——“使用者不需要有太多代码知识”。

    但这也引起一些技术人员的质疑。“所谓无埋点,其实是全埋点,能埋的都埋了,能收集的都先收集走再说。”一家在杭州某电商类创业公司从事数据分析的工程师对PingWest品玩表示。“而且,我认为这种傻瓜化的产品和宣传,其实造成的一个更危险的问题是,那些真的不懂或者不去关注这些第三方SDK的使用者,一方面不知道自己平台的哪些数据共享给了这些第三方公司,另一方面甚至有时候不知道自己触碰了用户的哪些权限和数据。”

    每个提供SDK服务的大数据公司,都会把收集来的数据中的一些“占为己有”,从而丰富自己的数据资源,然后再把这些资源反过来集成到所谓的数据分析平台上,卖给客户。也就是说,这些数据并不是只用于收集者自己的平台,而是作为某种商品进行了出售。

    大数据公司百分点为此提出一个新的概念——“第二方数据”:“指企业和合作伙伴共同拥有的数据,所有权如何分配是商谈出来的。在使用这些数据时,也要遵循双方共同的利益”。

    但在这过程中,用户却完全缺席,这些数据采集过程中,很多都没有经过用户的同意授权,甚至是没有明确告知用户。最近频频出现的怀疑app“监听”自己,指责输入法泄露自己隐私等新闻,就都是来源于用户的不知情。

    在2016年时,Google Play就曾集中下架一批使用TalkingData SDK的应用,原因正是过度收集用户数据。之后TalkingData对外表示这是“沟通误会”,并在之后单独为Google Play 设计了一个改良版本。而据上述知情人士介绍,对国内各大Android应用市场的版本,依然可以获取被视为高度隐私的权限。“这样的现象不只是TalkingData,类似个推等其他提供SDK服务的第三方公司,其实都有这样的现象。”而绝大多数国内Android用户的app正是来自这些应用市场。

    对于这些数据采集的行为,大数据公司们的一个常用解释是,数据已经“脱敏”。但目前全行业并没有关于脱敏的统一标准,也没有相关详细法规。脱敏与否,完全成了大数据公司们的一种自觉,全靠一家公司的“底线”和价值观来决定。

    而与此同时,随着各类公司对精准营销和个性化推送等效果的更高要求,对“用户画像”的极度痴迷,客观上形成了谁越能无限逼近用户的真实身份,谁的数据服务就更有吸引力的事实。这种商业上的动力和脱敏的安全考量之间出现了明显矛盾。很多漏洞也因此出现和被利用。

    比如,在目前的许多第三方大数据公司的数据库中,在脱敏处理后,用户数据也依然会被分配各自的独立ID。但是很多app其实同时都在收集用户的设备号,其中主要的是手机的Mac地址和机器的IMEI号。前者全称Media Access Control,是手机网卡的ID,用来定义网络设备的位置。后者是 International Mobile Equipment Identity,相当于机器的身份证。两者都具有唯一性。尽管第三方公司将自己分配的独立ID形容为一种将用户真实身份去掉的方式,但显然,只要将两者对应,这些ID本身依然是一种真实信息。

    而在电信实名制的当下,想要让ID直接变成真人,只需要一步:当这两个数据与电话号数据对应上时,用户的真实身份就会彻底暴露。

    今年315晚会上曝光的“探针盒子”,就是用来完成这最后一步。据央视的调查,这个设备能在发现用户手机信号后,识别出用户手机的MAC地址和IMEI号,并利用背后的“大数据技术”,将这些设备号转换成手机号码。

    随着用户被收集的数据种类越来越多,用户的隐私变成了一张拼图,要不要把用户的真实信息“拼”出来,完全取决手握这些拼图的大数据公司们自己。

    “目前很多案例都是集中在厘清平台之间互相争夺数据的问题,但之后肯定不可避免的要深入到,用户自己对个人数据的权利的问题。” 接近公安部第三研究所的人士透露。

    最近一年,各类公司过度收集用户数据成为整治的重点。据新华社报道,中央网信办、工信部、公安部和市场监管总局在今年年初成立app违法违规收集使用个人信息专项治理工作组,“截至4月16日,举报信息超过3480条,涉及1300余款app。对于30款用户量大、问题严重的app,工作组已向其运营者发送了整改通知。”

    这些举动像是一种铺垫,背后是相关部门对个人数据权利的思考。

    上述人士表示,在个人数据权利方面,相关部门一直在密切研究欧盟的GDPR,也就是欧盟去年5月开始实行的《通用数据保护条例》,它是全球现行的最严格的数据保护法案。而研究者对其过于严格的监管仍存异议。

    比如,GDPR中提到用户的数据可携权,要求Facebook和Google等主要网络将用户的数据“还给”用户,由用户直接跨平台掌握自己的所有数据。“这显得过于激进。”

    “过去的那种宽松,事实上是两方面原因,一是监管跟不上业内的技术;另一个也是因为,监管方面还是有些倾向于管的太严会扼杀创新的观点。”上述人士表示,这种倾向依然会继续存在下去。

    再比如,GDPR里的引言部分直接提出的“匿名化”的概念,规定个人数据要移除可识别的个人信息,与此同时在法案中对个人数据作出详细罗列,位置数据、IP地址、MAC地址都属于个人数据。这些数据在匿名化中必须抹去。

    但作为对比,2019年4月10日,公安部第三研究所等机构联合发布的《互联网个人信息安全保护指南》中,在提到个人信息的保护时,则避免了使用“匿名化”这个比较激进的概念。“我们的概念还是和欧盟GDPR的匿名化有些不同的,最后我们只是直接引用《网络安全法》里的概念。” 相关人士表示。在这份指南中,对个人信息的保护要求的描述为“经过处理无法识别特定个人且不能复原” 。

    “总体上你能看到有两个思路,保证用户隐私肯定是第一位的,二则是,数据只在用户手里是没有价值的,所以还是要鼓励公司对数据的合规处理。”上述人士透露。

    最高人民法院司法案例研究院4月的一篇文章也透露出这样的思路。文章指出,解决用户个人数据保护的关键在于“区分包含用户个人信息的原始数据与处理加工形成数据产品后的衍生数据,并分别判断归属”。文章认为,原始数据归属于用户,而衍生数据则归属于运营公司。这样不仅能合理平衡双方利益,更能“鼓励网络企业不断进行技术创新和产能创造,促进社会总体财富增加的需要。”

    这些年这种客观上“先发展再监管”的环境,导致许多互联网公司根本的商业模式有很大一部分已经是基于这种野蛮的数据收集以及分享的基础上。此外,人工智能发展中最为关键的算法模型,也极度依赖这些数据。

    海银资本创始合伙人王煜全就认为:在人工智能的竞争中,焦点就落在数据上,随着企业越来越多的把数据拿出来给机器训练,人类正进入一个低隐私社会,这成为一种不可逆转的趋势。

    而这就导致事到如今,大数据从业者们对“隐私”的理解与用户产生了差距,一提到保障隐私,大数据行业给出的应对往往是“不再和其他平台分享数据”,而用户希望的则是连你这个平台自己也干脆不要收集我的数据,出现了明显的沟通障碍。

    在这种情况下,监管部门也不可避免的要面对两难的处境。一个可能的方式是,首先让用户和大数据公司们回到一个能够沟通的状态中去。比如要求这些大数据公司用普通人听得懂的话向用户说明白每个数据采集行为的目的,获得用户的正式许可,并且通过一定的方式让用户分享利用他们数据生成的收益。同时,在法律层面很难明确对数据归属进行明确确权的情况下,可以通过更加严厉的事后惩罚机制,来提高过度收取用户信息以及贩卖用户信息等行为的成本,也为用户提供某种类似遗忘权的权利,让他们拥有更强的事后防御能力。

    在大数据时代,数据的确是拥有巨大潜质的新石油,但若在用户权利和行业发展之间无法正确权衡,这种新石油也一样能带来巨大的污染。

    本文作者:PingWest品玩丨硅星人团队:玄宁

    深度 | 大数据之殇-PingWest 品玩

  7. 大数据,通俗的讲就是一台机器干不完的事情,利用多台机器来完成。大数据能够快速发展的根本原因无非两个,一个是计算性能的提升,第二个存储成本的降低。

    对标国外来看,整个20世纪90年代之前,因为信息化尚未完成,数据量比较少。进入21世纪,移动互联网的兴起使得数据量飙升。2005年,雅虎解决网页搜索问题的时候,提出来两个概念——高性能计算、分布式存储,对行业有着很深远的意义。资本市场更关注的是2009年Splank的上市,来自资本市场的刺激让整个市场为之动容。而2014年Plantir的估值达到200亿美金,更是让国内的整个投资界为之疯狂。

    国内来看,大数据领域经历了2013年开始的疯狂增长,2016年的断崖式下降,以及2018年以来的迭代复苏,单一的数据技术逐步与人工智能技术结合,应用场景从营销获客、金融风控等为主,转为与城市管理、工业制造等领域越来越深度的结合。大数据产业正进入到2.0时代。新时代下大数据与人工智能的融合,已然成为各行各业技术驱动、产业升级的重要支撑。

    云计算、大数据、人工智能这三者之间你中有我、我中有你、互利共存,一起促进了整个数据智能产业的发展。云计算的出现带动了大数据的热潮,后来人工智能变得更热了,是不是大数据就变得不重要了?其实大数据已经融入到了整个人工智能产业中。

    钛资本:数据与智能融合,新赛道的投资机会如何判断? | 钛资本研究院

  8. 大数据能火多久,如同穿越到上世纪80年代,去问个人电脑能火多久一样。现在,我们都不会认为”个人电脑”很”火”。因为,它已经成为了人类工具箱里一件强大的工具,提高了人类的生产力。我相信,”大数据”,也会成为我们的工具箱里的这么一样工具的。

  9. 一个大数据火爆导致了许多人想专业,那我们客观的来说一下,互联网行业是大数据的起爆点,除了互联网/电子商务行业,传统的诸如计算机服务/软件、金融/基金/证券/投资、通讯行业以及其他专业服务领域等,都在热火朝天的搞大数据。我想在搞清楚这个问题前,我们先得明白大数据为什么这几年火热情势不减呢?

    大数据大数据价值的发现与其所处的应用场景密切相关。概括起来,大数据价值发现可以划分为三大类:数据服务、数据分析和数据探索。
    数据服务是面向大规模用户,提供高性能的数据查询、检索、预测等服务,通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验,通过对大规模数据使用特定的计算模型进行较为复杂的运算,从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合,通过不断揭示数据的规律和数据间的关联,引导分析人员发现并认识其所未知的数据模式或规律,其价值更多地体现在对未知途径的数据模式和规律的探索。
    大数据公共服务
    数据分析是指用适当的统计分析方法对大量数据进行分析或建模,提取有用信息并形成结论,进而辅助人们决策的过程。在这个过程中,用户会有一个明确的目标,通过“数据清理、转换、建模、统计”等一系列复杂的操作,获得对数据的洞察,从而协助用户进行决策。常见的数据分析任务又可以被进一步划分为描述型分析、诊断型分析、预测型分析、策略型分析。
    数据分析
    数据探索是指针对目标可变、持续、多角度的搜索或分析任务,其搜索过程是有选择、有策略和反复进行的。它将以找到信息为目的的传统信息检索模式变为以发现、学习和决策为目的的信息搜寻模式。这样的搜索模式结合了大量的数据分析与人机交互过程,适合于人们从数据中发现和学习更多的内容和价值。
    数据探索
    大数据蕴含大价值,数据服务、数据分析和数据探索是3个层次的数据价值发现方法。在很多应用下,这3类方法需要混合使用,才能更好地发现大数据的价值。
    信息时代,数据俨然已成为一种重要的生产要素,如同资本、劳动力和原材料等其他要素一样,而且作为一种普遍需求,它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果,尽可能的降低成本,提高产品质量、提高生产效率以及创造新的产品。例如,通过分析直接从产品测试现场收集的数据,能够帮助企业改进设计。此外,一家公司还可以通过深入分析客户行为,对比大量的市场数据,从而超越他的竞争对手。
    大数据对当今各行各业都有不可忽视的重要作用,在这个信息时代除非有一个新的东西诞生可以代替大数据的作用,否则它依然会火势不减。对大数据感兴趣的可以到梦蝶大数据进行咨询了解

    主页

  10. 说到大数据为什么这么火,首先要从大数据技术的价值来说,接下来咱们看看大数据的核心价值!

    随着互联网的高速发展,信息的传输越来越方便快捷,人工智能、区块链等高科技在内的前沿技术都让我们的生活越来越便利,在这样的时代里,每个人都将成为越来越透明的存在,因为足够了解,所以才能够提供足够的便利。而这一切,正是大数据所催生。数据已经被认为是继云计算、物联网之后颠覆性的一次技术性革命。

    随着社会不断发展的脚步,各类数据不断累积,如果说小数据时代的各类分析调研更多的是靠样本采集,那么现在,不管从数据的维度还是层次来看,数据体量的累积已经到了一个非常夯实的阶段。

    核心价值的用户到底是谁?

    谈到价值,首先必须要明白其用户到底是谁?有针对企业数据市场的,还有针对终端消费者的,还有针对政府公共服务的;其次要弄清楚大数据核心价值的表现形式、价值的体现过程以及最后呈现的结果。

    对于消费者用户,信息能按需求搜索,并能提供友好、可信的信息推荐是他们对大数据的需求,其次是例如智能信息的提供、用户体验更快捷等高阶服务。

    还有,政府日常管理和为民服务中都不断使用大数据,并成为推动政府政务公开、完善服务、依法行政的重要力量。从户籍制度改革,到不动产登记制度改革,再到征信体系建设等等都对数据库建设提出了更高的目标要求,而此时的数据库更是以大数据为基础的,可见,政府改革和转型的技术支撑杠杆必为大数据。

    数据,除了它第一次被使用时提供的价值以外,人们对数据具有的无穷无尽的“剩余价值”已经有了越来越多的认识。接下来让我们共同探索大数据的核心价值吧!当然这是需要借助于一些具体的应用模式和场景才能得到集中体现的。

    一、大数据助企业挖掘市场机会探寻细分市场

    大数据能够帮助企业分析大量数据而进一步挖掘市场机会和细分市场,然后对每个群体量体裁衣般的采取独特的行动。获得好的产品概念和创意,关键在于我们到底如何去搜集消费者相关的信息,如何获得趋势,挖掘出人们头脑中未来会可能消费的产品概念。用创新的方法解构消费者的生活方式,剖析消费者的生活密码,才能让吻合消费者未来生活方式的产品研发不再成为问题,如果你了解了消费者的密码,就知道其潜藏在背后的真正需求。大数据分析是发现新客户群体、确定最优供应商、创新产品、理解销售季节性等问题的最好方法。

    二、大数据提高决策能力

    当前,企业管理者还是更多依赖个人经验和直觉做决策,而不是基于数据。在信息有限、获取成本高昂,而且没有被数字化的时代,让身居高位的人做决策是情有可原的,但是大数据时代,就必须要让数据说话。

    大数据能够有效的帮助各个行业用户做出更为准确的商业决策,从而实现更大的商业价值,它从诞生开始就是站在决策的角度出发。虽然不同行业的业务不同,所产生的数据及其所支撑的管理形态也千差万别,但从数据的获取,数据的整合,数据的加工,数据的综合应用,数据的服务和推广,数据处理的生命线流程来分析,所有行业的模式是一致的。

    在宏观层面,大数据使经济决策部门可以更敏锐地把握经济走向,制定并实施科学的经济政策;而在微观方面,大数据可以提高企业经营决策水平和效率,推动创新,给企业、行业领域带来价值。

    三、大数据创新企业管理模式,挖掘管理潜力

    我们试着想想,当购物、教育、医疗都已经要求在大数据、移动网络支持下的个性化的时代,创新已经成为企业的生命之源,我们还有什么理由还要求企业员工遵循工业时代 的规则,强调那种命令式集中管理、封闭的层级体系和决策体制吗?当个体的人都可以通过佩戴各种传感器,搜集各种来自身体的信号来判断健康状态,那样企业也同样需要配备这样的传感系统,来实时判断其健康状态的变化情况。

    今天信息时代机器的性能,更多决定于芯片,大脑的存储和处理能力,程序的有效性。因而管理从注重系统大小、完善和配合,到注重人,或者脑力的运用,信息流程和创造性,以及职工个性满足、创造力的激发。

    在企业管理的核心因素中,大数据技术与其高度契合。管理最核心的因素之一是信息搜集与传递,而大数据的内涵和实质在于大数据内部信息的关联、挖掘,由此发现新知识、创造新价值。两者在这一特征上具有高度契合性,甚至可以标称大数据就是企业管理的又一种工具。因为对于任何企业,信息即财富,从企业战略着眼,利用大数据,充分发挥其辅助决策的潜力,可以更好地服务企业发展战略。

    大数据时代,数据在各行各业渗透着,并渐渐成为企业的战略资产。数据分析挖掘不仅本身能帮企业降低成本:比如库存或物流,改善产品和决策流程,寻找到并更好的维护客户,还可以通过挖掘业务流程各环节的中间数据和结果数据,发现流程中的瓶颈因素,找到改善流程效率,降低成本的关键点,从而优化流程,提高服务水平。大数据成果在各相关部门传递分享,还可以提高整个管理链条和产业链条的投入回报率。

    四、大数据变革商业模式催生产品和服务的创新

    在大数据时代,以利用数据价值为核心,新型商业模式正在不断涌现。能够把握市场机遇、迅速实现大数据商业模式创新的企业,将在IT发展史上书写出新的传奇。

    大数据让企业能够创造新产品和服务,改善现有产品和服务,以及发明全新的业务模式。回顾IT历史,似乎每一轮IT概念和技术的变革,都伴随着新商业模式的产生。如个人电脑时代微软凭借操作系统获取了巨大财富,互联网时代谷歌抓住了互联网广告的机遇,移动互联网时代苹果则通过终端产品的销售和应用商店获取了高额利润。

    还有,大数据技术可以有效的帮助企业整合、挖掘、分析其所掌握的庞大数据信息,构建系统化的数据体系,从而完善企业自身的结构和管理机制;同时,伴随消费者个性化需求的增长,大数据在各个领域的应用开始逐步显现,已经开始并正在改变着大多数企业的发展途径及商业模式。如大数据可以完善基于柔性制造技术的个性化定制生产路径,推动制造业企业的升级改造;依托大数据技术可以建立现代物流体系,其效率远超传统物流企业;利用大数据技术可多维度评价企业信用,提高金融业资金使用率,改变传统金融企业的运营模式等。

    维克托曾预言2020年,大数据时代就会真正来临。在那个时候,最经常会用到的应用就是个性化生活所需要的,尤其是智能手机的应用。

    五、大数据让每个人更加有个性

    对个体而言,大数据可以为个人提供个性化的医疗服务。比如,我们的身体功能可能会通过手机、移动网络进行监控,一旦有什么感染,或身体有什么不适,我们都可以通过手机得到警示,接着信息会和手机库进行对接或者咨询相关专家,从而获得正确的用药和其他治疗。

    过去我们去看病,医生只能对我们的当下身体情况做出判断,而在大数据的帮助下,将来的诊疗可以对一个患者的累计历史数据进行分析,并结合遗传变异、对特定疾病的易感性和对特殊药物的反应等关系,实现个性化的医疗。还可以在患者发生疾病症状前,提供早期的检测和诊断。早期发现和治疗可以显著降低肺癌给卫生系统造成的负担,因为早期的手术费用是后期治疗费用的一半。

    还有,在传统的教育模式下,分数就是一切,一个班上几十个人,使用同样的教材,同一个老师上课,课后布置同样的作业。然而,学生是千差万别的,在这个模式下,不可能真正做到“因材施教”。

    在大数据的支持下,教育将呈现另外的特征:弹性学制、个性化辅导、社区和家庭学习、每个人的成功……大数据支撑下的教育,就是要根据每一个人的特点,释放每一个人本来就有的学习能力和天分。

    六、智慧驱动下的和谐社会

    美国作为全球大数据领域的先行者,在运用大数据手段提升社会治理水平、维护社会和谐稳定方面已先行实践并取得显着成效。

    近年来,在国内,“智慧城市”建设也在如火如荼的开展。截止去年底,我国的国家智慧城市试点已达193个,而公开宣布建设智慧城市的城市超过400个。智慧城市的概念包含了智能安防、智能电网、智慧交通、智慧医疗、智慧环保等多领域的应用,而这些都要依托于大数据,可以说大数据是“智慧”的源泉。

    在治安领域,大数据已用于信息的监控管理与实时分析、犯罪模式分析与犯罪趋势预测,北京、临沂等市已经开始实践利用大数据技术进行研判分析,打击犯罪。

    在交通领域,大数据可通过对公交地铁刷卡、停车收费站、视频摄像头等信息的收集,分析预测出行交通规律,指导公交线路的设计、调整车辆派遣密度,进行车流指挥控制,及时做到梳理拥堵,合理缓解城市交通负担。

    在医疗领域,部分省市正在实施病历档案的数字化,配合临床医疗数据与病人体征数据的收集分析,可以用于远程诊疗、医疗研发,甚至可以结合保险数据分析用于商业及公共政策制定等等。

    伴随着智慧城市建设的火热进行,政府大数据应用已进入实质性的建设阶段,有效拉动了大数据的市场需求,带动了当地大数据产业的发展,大数据在各个领域的应用价值已得到初显。

    七、大数据如何预言未来?

    著名的玛雅预言,尽管背后有着一定的天文知识基础,但除催生了一部很火的电影《2012》外,其实很多人的生活尚未受到太大的影响。现在基于人类地球上的各种能源存量,以及大气受污染、冰川融化的程度,我们获取真的可以推算出按照目前这种工业生产、生活的方式,人类在地球上可以存活的年数。《第三次工业革命》中对这方面有很深入的解释,基于精准预测,发现现有模式是死路一条后,人类就可以进行一些改变,这其实就是一种系统优化。

    这种结合之前情景研究,不断进行系统优化的过程,将赋予系统生命力,而大数据就是其中的血液和神经系统。通过对大数据的深入挖掘,我们将会了解系统的不同机体是如何相互协调运作的,同样也可以通过对他们的了解去控制机体的下一个操作,甚至长远的维护和优化。从这个角度讲,基于网络的大数据可以看作是人类社会的神经中枢,因为有了网络和大数据人类社会才开始灵活起来,而不像以前那么死板。基于大数据,个体之间相互连接有了基础,相互的交互过程得到了简化,各种交易的成本减少很多。厂家等服务提供方可以基于大数据研发出更符合消费者需求的服务,机构内部的管理也更为细致,有了血液和神经系统的社会才真的拥有生命活力。

    可预测代表着可控,可控代表着失误的不断减少。

    最终,我们都将从大数据分析中获益。

    生活源于数据的多样化,所以大数据技术会在今后的时代会越来越火,会对数据处理的技术越来越高,对生活带来更多的便利1

  11. 恩怨似风没有轻重
    2019年7月10日 于 下午5:37

    谢邀。很多人最近都在私信我说,大数据这一行到底发展好不好,我现在入门会有发展吗。

    其实,这些问题也是很多人一直在疑惑的。大数据也是最近火起来的,从一些数据分析,到云计算、云平台,大数据技术也是在不断的发展和进步,也是更多的在吸引和引进一些大数据方向的人才。所以说,很多人可能就蠢蠢欲动了,也想过去学一学大数据,分一杯羹。

    那么,大数据行业发展会怎样?下面就以过来人的身份简单的说一下我的理解。

    简单介绍下我自己,本人现在数据分析行业已经工作两年多,当初也是以偏零基础入门的(我大学学过一些SQL),培训了五个多月,做了两个大项目才去找的工作(现在的公司项目经验挑的厉害),现在工作很稳定,薪水很满意的。培训的地方叫AAA教育,感兴趣的自己去了解,我不说过多(他们的官网:http://www.aaa-cg.com.cn/?Lsy)

    那,什么是大数据

    大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

    大数据的特点

    数据量大、数据种类多、要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据,但是众多的信息和咨询是纷繁复杂的,我们需要搜索、处理、分析、归纳、总结其深层次的规律。

    大数据的应用

    大数据可应用于各行各业,将人们收集到的庞大数据进行分析整理,实现资讯的有效利用。举个本专业的例子,比如在奶牛基因层面寻找与产奶量相关的主效基因,我们可以首先对奶牛全基因组进行扫描,尽管我们获得了所有表型信息和基因信息,但是由于数据量庞大,这就需要采用大数据技术,进行分析比对,挖掘主效基因。例子还有很多。

    大数据的发展和前景(重点来了)

    总的来说,大数据是对大量、动态、能持续的数据,通过运用新系统、新工具、新模型的挖掘,从而获得具有洞察力和新价值的东西。以前,面对庞大的数据,我们可能会一叶障目、可见一斑,因此不能了解到事物的真正本质,从而在科学工作中得到错误的推断,而大数据时代的来临,一切真相将会展现在我么面前。

    马云曾经说过其对大数据的思考,大致意思是:现在从信息时代进入数据时代了。区别是信息时代更多的是精英玩的游戏。我比别人聪明,我能提取出信息出来;数据时代,别人比我聪明,将数据开放给更聪明的人处理,数据即资产,分析即服务。

    由此可见,大数据分析、大数据挖掘、大数据研发、大数据运算等各种大数据岗位都具有相当广阔的前景,甚至可以毫不夸张地说:如果你学了大数据,那么你就比别人更有进入互联网巨头企业的优势。

    所以,大数据还是挺火的,想要转行学数据分析的人可以着重考虑一下自己到底是不是适合这一行,早入行早得先机,毕竟现在的市场需求大,竞争也是很激烈。

  12. 未来大数据的身影应该无处不在,就算无法准确预测大数据终会将人类社会带往到哪种最终形态,但我相信只要发展脚步在继续,因大数据而产生的变革浪潮将很快淹没地球的每一个角落。

    比如,Amazon的最终期望是:“最成功的书籍推荐应该只有一本书,就是用户要买的下一本书。”Google也希望当用户在搜索时,最好的体验是搜索结果只包含用户所需要的内容,而这并不需要用户给予Google太多的提示。

    而当物联网发展到达一定规模时,借助条形码、二维码、RFID等能够唯一标识产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析,这些数据能够支撑智慧城市,智慧交通,智慧能源,智慧医疗,智慧环保的理念需要,这些都所谓的智慧将是大数据的采集数据来源和服务范围。

    未来的大数据除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰,大部分的数据都与人类有关,要通过大数据解决人的问题。

  13. 近几年,数据量呈爆炸式的增长,需要很多大数据方面的人才,进行大数据传输,存储,查询,分析等各个方面的工作。未来随着国家大力推进的5g的普及,数据量的增加速度可想而知吧,那需要的人才数量肯定也随着增加。大数据应该还能火挺久的~

    ( ps:本人就是做这行的小菜鸡,觉得发展前景还是挺不错的 )

  14. 我是今年学大数据专业的大一学生,以我个人和我们老师对专业的介绍,还有我们学校开设的课程来看,都是与现在社会最新的科技所挂钩,各种各样计算机编程语言。大数据并不是网红,不能用火多久来描述,应该以它的实用性来评价,现在大家可以看到我写的这些文字,就是大数据在起作用。所以你可以想象一下,没有了大数据的推动,科技的发展速度能多快。

  15. 首先来说,大数据不是“网红”,也不能用“火多久”来衡量大数据技术的价值,其实笔者更建议大家将大数据技术视为一门基础性的IT应用技术,用不可或缺来形容它可能会更合适一些。

    大数据是一种数据集合形式,用浅显的话来讲就是“一个都不少”。传统的统计方法是抽样统计,在庞大的数据集合中随机选取一个样本样本容量,然后进行参数估计、假设检验,从而得出样本统计量推断真实性与可靠性。那么大数据就有所不同,大数据不是随机选取一个样本容量,而是在集合中所有数据全部都作为统计对象,这样最直接的效果就是统计的真实性和可靠性大大增强。

    以全部数据为统计对象需要强大的数据运算能力和数据存储能力,近些年计算机硬件设备的飞速发展为之创造了条件,对海量数据实现分布式存储与运算已经是现实可行。所以大数据本质上还是一种软件技术。以常用的Hadoop集群为例,HDFS用于分布式存储,MapReduce用于计算,这就形成了Hadoop集群最基本的运行模式。Hadoop各种功能的实现依赖于Java编程语言以及相关的框架、针对大型网站的高并发处理。

    一个大型网站,类似于BAT这样的,网站后台的数据库存储这海量的数据,这些用户在电脑端、手机端每天要产生庞大的数据量,这些数据记录用户的行为方式、消费习惯等太多有价值的信息,从营销角度来讲,对潜在客户的挖掘和精准投放广告提供了必要的条件。所以,互联网经济中,大数据的作用越来越凸显,大家可以查看前段时间在贵州成立的大数据交易中心产生的价值有多大——毕竟能够拉动一个省的经济!所以,大数据并不“水”。

    每当谈到大数据,就难免会扯到人工智能。其实人工智能的理论在上世纪中后期就已经产生了。当时之所以没有得到大规模应用是因为没有大量的数据作为支持,所以大数据的普遍应用,促进了人工智能的实施。可以说,人工智能是被大数据带火了!

    人工智能中有几层关系需要明白,网上有张图表达得很清楚,可供参考:

    人工智能和大数据其实是一套体系,在大型互联网项目都可以实施应用,还有在今后,国防科技、治安管理、公共服务等领域都能用到,最常见的——人脸识别在天眼工程中的应用。这就是大数据和人工智能的结合。当然,如果你想深入了解这个领域,需要从编程开始学习。推荐Java和Python两种语言。在百战卓越班,Java+大数据+python+人工智能都属于必修课,因为不久的将来,大型的互联网项目还是需要更多的应用型人才,能够精通这几部分联系的程序员,还是很受欢迎的。总之,大数据会成为今后的一门基础应用型学科,因为现实中的需求不会间断!

    有需要大数据学习资料的同学可以关注我们,多会一门技术对未来职业发展肯定是有好处的。

    尚学堂科技中也有其他关于大数据的回答,欢迎关注!

  16. 大数据就是一种工具,它会将人类需要的知识更快的展现在个人终端,同时也更加准确;它实时的读取着每一个人的个性化参数,来让每一个差异化的个体体验都能达到最佳;它又为云计算中心提供着庞大的数据反馈,让人类能够在宏观上知道自己族群的需求变化,产生更多的科级革新和应用革新。这种工具能够更快的识别需求,并且更快的生成改造手段,往往需要数年来完成的研究,在大数据时代可能只用数天就能够获得研究结果。

    其实大数据在诞生之初,是为了军用和大型企业服务的,它能够更快更精准的反应监测对象的状态(包括军事目标、生产原料、企业资源监控端口等等)。它将人类的工业操作变得简化了。那大数据在民生应用就是让用户体验变得更加友好。云计算中心会自动化的分解庞大而复杂的数据,个人的读取则必然是最简单明了的处理结果。我们把复杂的认知加工工作,交给了大数据中心去处理。

    简言之大数据改变生活,大数据时代的生活更加简单呢~

  17. 你看这下面回答的不是培训机构就是自媒体。你就知道这东西水分多大了。

  18. 华为云技术宅基地
    2019年7月11日 于 上午9:38

    大数据还能火多久,应该没人能够说出一个定数,但大数据当前已经是爆发期阶段了,毕竟火爆的AI是要站在大数据的肩膀上才能走得更远。

    现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,而大数据就是这个高科技时代的产物。 一位商业大佬就曾经说过,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology数据科技,因此大数据的重要性不言而喻。

    大数据并不仅仅指“一个数据的集合”本身,它可能还意味着从数据的收集、整理、分析和商业洞察、以至于市场转化的全过程。在从事大数据的这个团队中,可能包括数据工程师、分析师、产品专员、市场专员和商业决策者等各种角色,共同完成从原始数据到商业价值的转换,他们是支持企业做出商业决策、发掘商业模式的重要群体。

    有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。因此许多企业都非常重视大数据,致力于更高效地处理和应用数据信息。比如华为云的智能数据湖作为一个开放的数据处理平台,通过数据的云上融合,实现多域融合决策,使能人工智能,帮助企业在物联网时代更好的利用数据创造价值。

    此外在大数据领域,人才缺口仍然非常大。由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。

    除此之外,还要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。而满足这些要求的人才实在是少之又少,这也是制约国内大数据发展的一个重要因素。

    更多精彩内容可以关注 华为云技术宅基地

  19. 从大数据的应用方向和未来发展趋势可以看出来,在未来10年或20年社会及企业发展过程中,大数据是我们无法离开的技术。云服务、人工智能越来越火,没有大数据谈何云服务,没有大数据谈何人工智能?由此看出大数据能火多久的主要决定因素就是有没有他的取代者出现。

    信息时代,数据俨然已成为一种重要的生产要素,如同资本、劳动力和原材料等其他要素一样,而且作为一种普遍需求,它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果,尽可能的降低成本,提高产品质量、提高生产效率以及创造新的产品。例如,通过分析直接从产品测试现场收集的数据,能够帮助企业改进设计。此外,一家公司还可以通过深入分析客户行为,对比大量的市场数据,从而超越他的竞争对手。

    曾经就听过天津某高校信息部一位管理员聊过大数据:她们之前一直认为大数据技术难度大,门槛很高,没想到华为云的服务这么成熟,完全节省了平台运维开销,几步操作就可以直接使用了。的确,我所了解的华为云就是一切从客户角度出发,打造用得起,用得好,用得放心的普惠AI 平台。

    总结可见,大数据对当今各行各业都有不可忽视的重要作用,在这个信息时代除非有一个新的东西诞生可以代替大数据的作用,否则它依然会热度不减。

  20. 大数据又称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。近年来,大数据技术飞速进步,大数据行业如火如荼,如华为等厂商在相关领域就取得了非常明显的成果。但也有人认为,大数据已经进入夕阳时代,事实真的如此么?

    观察大数据行业的发展历程,我们可以看到大数据行业的兴起速度,着实令人惊叹不已,它以燎原之势,迅速渗透进各行各业,进入我们的生活,也在改变我们的生活。如今各行各业在日常运营过程中都会产生并积累海量数据,数据维度丰富多样:无论那个行业,每时每刻,每分每秒都在产生数据。这就要求我们发展大数据,通过计算机对这些海量数据进行处理,帮助我们分析各个行业目前的状况和发展方向。

    大数据能让生活更便利,能让机器更懂你。商家或者企业可以通过分析海量的数据,得到人们的共同点或者某些人群特定的特点,从这些共同点入手做到精准的把握住顾客的需求点,给顾客推荐适合他的服务或者产品,使得顾客的生活更加便利,同时做到使得我们的机器更加了解我们。如果可以满足了这两点,这项技术就不会被消亡,只会不断更新,满足更多的需求。

    大数据已经成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。大数据作为一种重要的战略资产,已经不同程度地渗透到每个行业领域和部门,不仅有助于企业经营活动,还有利于推动国民经济发展。从这个整体趋势来看,大数据也是会一直火下去的。

    科学理论的突破随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。大数据技术已经成为了国家级的战略行产业,获得了政府的大力支持。现在学好大数据,无疑是坐上了好政策的顺风车,成功唾手可得。

    关于大数据能还能火多久,还有前途吗,我认为大数据会一直火下去,并且会越来越火。

发表回复