大数据时代丨人类需要怎样的数据中心

大数据

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。

"大数据"在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。

每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息--包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。

这样的趋势会持续下去。我们现在还处于所谓"物联网"的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的"可穿戴"科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。

数据价值

大数据时代，什么最贵?

十年前，葛大爷曾说过，"21世纪什么最贵?"--"人才"，深以为然。只是，十年后的今天，大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据，数据的增长从未停歇，甚至呈井喷式增长。

一分钟内，微博推特上新发的数据量超过10万;社交网络"脸谱"的浏览量超过600万……

这些庞大数字，意味着什么?

它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。

可视化

"数据是新的石油。"亚马逊前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时，成立于1881年的世界最大影像产品及服务商柯达正申请破产。

大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题

数据量大(Volume)

第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

类型繁多(Variety)

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低(Value)

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值"提纯"，是大数据时代亟待解决的难题。

速度快、时效高(Velocity)

第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。

"大数据"可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠"差不多"运行的社会发生巨大变革。

那么问题来了，我们现在的互联网能不能经受住考验呢？人类需要怎样的数据中心呢？

构想一种新的存储方式和传输协议---IPFS

星际文件系统（IPFS，The InterPlanetary File System），这个名字出自利克莱德（J.C.R. Licklider）的“星际”（intergalactic）互联网。IPFS 的发明者胡安·贝尼特（Juan Benet）是一位墨西哥移民，毕业于斯坦福大学的计算机科学专业。他之前创立的一家公司在 2013 年被雅虎收购 ，随后他在今年的 Y Combinator （

Y Combinator成立于2005年，是美国著名创业孵化器，Y Combinator扶持初创企业并为其提供创业指南。截止2012年7月，共孵化380家创业公司，这些公司累计获得投资额超过10亿美元，估值已经100亿美元，其中云储存服务提供商Dropbox融资2.57亿美元，房屋短期租赁网站Airbnb融资1.2亿美元

）项目中成立了 Protocol Labs，这家公司现在的工作是推进 IPFS 项目，它的目标是取代我们在过去 20 年已经习以为常的互联网协议。

说到IPFS，我们这里有必要与HTTP进行比较来做更多说明。

大家对HTTP这个协议并不陌生，在过去数十年时间里不断将发布信息的成本降到了最低，使获取信息（音乐、思想、视频、新闻、游戏等等）的渠道变得更加平等大数据时代，过程变得更为简单。

但是，由于基于HTTP运行的Web内容是超中心化的，数据中心的运作十分依赖Internet的主干网络，而且HTTP分发内容的方式从根本上讲是有缺陷的，特别缺乏可分布性和可持久性，难以成为人类知识总和的永久载体。

当我们使用HTTP进行网络查找的时候，寻找的是文件在网络上的位置，但这个位置取决于服务器管理者，用户只能寄希望于服务器没有关闭，文件维持在原来的地方没有被移动。

而IPFS则从根本上改变了我们在网上查询的方式。

而IPFS，高效，低成本。整个IPFS系统是一个分布式的文件存储系统，在下载相关数据的时候，可以从多个节点同时下载。这点与P2P下载(比如: 迅雷、BitTorrent)一致。与HTTP从中?心服务器下载相?比较、P2P下载速度要快很多。

如图所示

IPFS节点数达到一定规模，即每个节点只存放了一点点内容，最终所累计的空间、带宽和可靠性会远超HTTP。

分布式Web会变成地球上最快、最可靠、最大的数据仓库，人类知识也不会湮灭。

2016年启动的柏林智库Blockchain for Science，其目标是“通过区块链进化（革命）来开放科学和知识创造”。

该组织除了通过会议、黑客马拉松和在线平台增进知识共享之外，还发布并维护了关于区块链与科学相关的动态文档，收集关于区块链如何开启科学和知识创造的想法。

IPFS有三大技术创新:

1.分布式账本，就是交易记账由分布在不同地方的多个节点共同完成，而且每一个节点都记录的是完整的账目，因此它们都可以参与监督交易合法性，同时也可以共同为其作证。

2.非对称加密和授权技术，存储在区块链上的交易信息是公开的，但是账户身份信息是高度加密的，只有在数据拥有者授权的情况下才能访问到，从而保证了数据的安全和个人的隐私。

3.共识机制，就是所有记账节点之间怎么达成共识，去认定一个记录的有效性，这既是认定的手段，也是防止篡改的手段。区块链提出了四种不同的共识机制，适用于不同的应用场景，在效率和安全性之间取得平衡。

除了提升网络服务以外，IPFS 将会帮助互联网发展成为我们一直希望它成为的系统，真正能够将全世界的所有人连接到（即使是在离线的情况下）一个永久存在而持续进化的网络当中。

欢迎小伙伴们在后台留言~下期见~

（编辑：拼字网 - 核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!