Skip to main content
 首页 » IPFS

ipfs存储给谁用

2021年04月24日14

对话星际大陆董事长李彦东:下一个超级牛市引爆点,凭什么是IPFS/Filecoin?

原标题:与星际世界董事长李彦东的对话:下一个超级牛市的转折点,为什么是IPFS / Filecoin?

嘉宾:星际大陆公司董事长,深圳商会副主席李彦东主持人:小苗·哔哔·科普普创始人/喵喵区块链发起人分享时间:5月19日19:30分享主题:让我们谈谈IPFS / Filecoin那些误解:B计划:Beep是由Beep创建的重磅炸弹,是一个在线AMA程序,由一个本地的V对话块链大师主持:在分布式存储项目中,Filecoin应该成为领导者。随着官方硬盘的推出和测试网第二阶段的推出,业界对该项目的争议和好奇心达到了新的高度。作为拥有长期第一存储能力的神秘团队,星际争霸(StarCraft)董事长李彦东(Li Yandong)将用来宾币与PlanB作战。这将揭示Filecoin主网发布三年的历史,并解释《星际争霸》如何增强生态并稳定该品牌。第一宝座,以及投资者应如何避免踏上深渊。

问:不久前,为庆祝星际大陆成立两周年,礼宾实验室特地发送了祝贺视频。两党之间的命运始于2017年,当时Filecoin团队来到了星际大陆并举行了首脑会议。您能告诉我们您团队的发展过程吗?Protocol Lab团队是什么样的人?

答:在外界看来,除了具有良好技术和高性价比的标签外,非常重要的一点是我们与协议实验室的密切关系。尽管我们基本上没有刻意推销这种关系,但我们仍然坚持与团队保持密切联系是非常必要的,尤其是Filecoin项目存在很多不确定性,因此我们需要保持动态,直接的沟通以应对各种情况。可能出现的问题。

自星际大陆发展以来,与其他团队最不同的地方可能是我们的价值观。 Juan团队之所以选择我们,可能是因为它们具有相同的价值观。在2017年的一次会议上,星际大陆首次提出了“火星梦想”的概念,希望到2025年将采矿机带入火星。有趣的是,这个想法和任务与Juan团队不谋而合。自从出现以来,他们一直认为人类将很快进入太空,而星际文化体系实际上根本不是夸大其词。自那时以来,我们两国之间保持着非常频繁的交流与互动,并继续相互影响。我认为,即使他们被称为“梦之队”,他们也是非常务实和可靠的。

问:外界一直批评区块链未能登陆,因此在您眼中,Filecoin将如何登陆?您对它的性能有何评价?

答:着陆一直是从业者努力的方向。在外界看来,区块链长期以来一直处于炒作甚至欺诈的境地。实际上,这是很难否认的。我仍然记得我们研究了数百个项目,但其中只有几个。但是我也认为这是行业发展的必要过程,无论是房地产,股票市场还是其他市场也都经历过,从炒作到着陆一直都是如此。

至于为什么它无法实现,我认为最大的原因是区块链的基础尚未打好。例如,如果一个城市甚至没有建设最基本的基础设施,例如水,电,道路等,它就会开始猜测房价,这绝对是不合理的。

那么区块链的基础是什么?它连接到Internet,即存储,计算,传输协议和操作系统。在我看来,Filecoin是区块链发展的一线曙光。到目前为止,它已经部分实施,并取得了很好的效果。例如,IPFS已被Google,以太坊,imtoken钱包等使用,并且得到了广泛认可。

Filecoin致力于解决成本,效率,隐私,分散和永久性问题,所有这些都可以在理论上实现。从实践的角度来看,实际上已经实现了成本和隐私,并且稍后将实现效率,分散性和持久性。

另外,更重要的是,无论是企业家精神还是投资,事实上,他们都注意利用这一趋势。 IPFS / Filecoin所在的两个区域就是这种情况。一方面,这是一个区块链项目。经过高水平的宣传,该行业目前正从非主流向主流过渡。另一方面,存储领域是一个未来将快速增长的行业。无论是5G的到来还是频繁的在线直播,无休止的大数据的诞生都产生了增量背景,而我们要做的就是享受红利的增长。

问题:Filecoin中有多个角色:开发人员,存储矿工,检索矿工,用户和令牌持有者。它们之间是什么关系?分工是什么?答:一般来说,开发商,矿工和二级市场是相互制约的。无论开发代码编写得多么好,它都需要在采矿机上运行。不管采矿机的布局多么好,它都会受到二级市场货币价格的限制。以比特币为例。当开发商和矿工存在利益冲突时,很容易分叉,而当熊市来临时,资本将选择出售,从而导致价格降低和采矿机器被迫关闭。

在Filecoin的经济模型中,有五个主要参与角色。其中,矿工分为两个角色:存储矿工和检索矿工。仓储矿工相当于提供仓库,确保安全并参与采矿的仓库。回收矿工相当于物流系统中的货运司机,他们仅负责运输货物,不参与采矿。

根据目前公开的信息,该项目偏向于早期的存储矿工和后期的检索矿工。但是,项目的长期价值最终取决于用户。这是该项目摆脱炒作,真正实现价值,可持续发展和增长的基础。代币持有者是该项目的股东。他们对生态发展持乐观态度,并愿意投资资金持有股票。

问题:第二轮测试刚刚开始了几天。这个行业非常活跃,人群在竞争。许多人关注排名。您如何看待考试排名?它代表了制造商的实力吗?

答:这是一个误解。排名实际上是大多数计算机聚合的结果,即投资规模不同,结果也不同。这只能说明制造商具有开采能力,制造商非常重视测试,没有太大的现实意义。

目前,我们看到有些人付出了自己的努力,有些人与几个联赛一起奔跑,而有些人只是简单地进行了测试,所以这个排名并不能说明什么。

还有一点要非常小心。到目前为止,Filecoin的代码尚未完成,算法仍在更改,硬件仍在更改。现在的大规模投资无疑增加了很多风险。

因此,我的观点是,首先进行的战斗不是具有成本效益的,而是无论风险如何的投资。这种想法非常危险。借助Filecoin的音调,更改会让您措手不及,并放弃所有工作。因此,一方面,我们必须控制规模,防范和控制风险。一方面,我们得出了类似的结果,向所有人证明,考虑到风险和考验,我们目前进入前三名的承诺是我们之前做出的承诺,并且也是前三名。 T具有最低的成本和相对较好的性价比。问题:Filecoin继续推迟,并且已经经历了几轮代码迭代。它的开采原理是什么?什么是采矿技术的升级?

答:自进入该行业以来,我们已经看到太多垃圾项目只是在收钱。真正追求完美主义,使一个项目坚实(从代码技术到市场应用)并在各个方向进行构建的情况很少见,但这是非常罕见的。正因为如此,很难进行更好的重复测试。

Filecoin的升级主要有两个方向,一个是软件技术本身的升级,另一个是市场方向的升级。自始至终,其发展的主要方向一直是如何降低成本,如何提高效率以及如何着陆。

针对存储项目中常见的问题,例如:如何证明数据已经被存储,如何证明没有数据篡改,欺诈和限制等,文件硬币采用密封方式。数据进入系统后,将对其重新格式化,以防止作弊。但是,此过程的计算量很大且很耗时。为了进一步提高效率和缩短时间,团队需要不断的升级和优化。此外,团队还需要优化经济模型,尝试限制垃圾数据的输入,并指导正确的方向。

问题:目前,有些人是物理采矿机,有些人是云计算能力;有些是采矿场,有些是矿池。它们之间有什么异同?作为普通投资者,该如何选择?

答:从来没有过不可靠的产品,只有不可靠的人。产品的形式可以多种多样,尤其是在投资市场中,这需要针对不同人群的不同策略。

云计算能力不同于物理采矿机。云计算能力进入的门槛很低,主要针对中小型客户。优点是灵活性和便利性,低阈值,并且制造商在处理机器匹配问题方面更加灵活。缺点是没有所有权。数据填满后,计算能力将终止,并且数据将移交给制造商,并且透明度很差。因此,很容易滋生资金。另外,云计算能力的产品形式更像是虚拟金融理财产品,投资者可能面临一定的风险。

物理采矿机主要面向中型和大型客户。好处是它拥有所有权,生命周期属于您。累积的有效数据可以为您长期采矿提供服务。缺点是阈值高于云计算能力并且不够灵活。

关于矿山和矿池的问题,F2pool创始人沉宇曾经分享过,他在开矿池时,如果不损失5000 BTC,那他就不是一个好的矿池。这也意味着采矿池本身非常困难,高度可变,而且分散式攻击也容易受到黑客的攻击。 Filecoin的挖矿原理比比特币的挖矿原理高出一个数量级,并且尚未发布。在现阶段,矿池的启动具有很大的不确定性。

因此,星际大陆目前仅是一个物理地雷,并将根据项目的未来进行相应的调整。

问题:每个人都非常担心如何在第二轮测试中发布一百万个FIL。您认为《星际穿越》会收到多少枚硬币?您打算如何使用硬币?

答:首先,我将为您提供底线,无论您获得多少,我们都会将其提供给采矿机的用户。

有人认为,根据每天在主网上释放40万枚硬币(即2天的数量)计算,一百万枚硬币并不多。比较两个月的测试需要大量投资,而矿工基本上是无利可图的。

其实我不这么认为。货币价格上线后,达到至少一,两百是正常值,这意味着向每个人分配了2亿至2亿美元的补贴,虽然数量不多,但目前正在经过考验全部,每个人都参与的设备数量并不多。这样,成本不会很高,并且仍然可以获利。

届时,星际大陆将根据客户购买金额和时间的比例将其分发给每个人,具体计划将在其发布后及时分享。

问:官方硬盘销售对《星际争霸》产品和投资者有何影响?我听说官方硬盘的数据计算能力是我存储的数据的10倍吗?

答:首先,硬盘问题源于官方的完美主义。该团队不仅追求代码完美,而且追求市场应用性能。

官员们为重要数据的使用感到自豪,并担心矿工会冒出来扫描垃圾数据并遭到轻视,这会影响系统的价值。就当前的矿工数量而言,所需的硬盘规模非常大,并且在联机之前存储真实有用的数据是不现实的。因此,官员将诸如气候,文学艺术,人工智能等开放源社区的宝贵数据存储在硬盘上。该方法已运往世界各地。

有人问为什么要出售硬盘驱动器而不能通过网络传输?确实不是,这是向矿工的网络传输,矿工没有动力去接受这些数据并且容易作弊并且不容易操作,而大规模数据传输实际上需要高带宽将网络成本存储在本地硬盘上在美国,硬盘的物理运输成本较低。

然后有人问,在中国不能存储有效的开源数据吗?可以,但是谁来负责此事?这是一个非常集中的过程,不适合将其授权给任何人,因此官员只能以厚脸皮和集中的侮辱来这样做。

仍然有很多人问他们是否可以购买更多硬盘。据我所知,截至目前,官方仅售出了几百个硬盘。与采矿市场上数百万的需求相比,需求简直是供不应求。另外,由于海关问题,运输极为麻烦,再加上随后的质量保证问题等,投资者基本上不可能ho积大量硬盘。

问:Filecoin的启动时间会再次延迟吗?投资者应该如何思考以及如何把握节奏?

答:长征长达数千英里,最后十英里。

许多人认为,如果该项目的进度被延迟,他们将遭受很多损失。但是他们为损失担心什么呢?是银行的利息钱还是短期投资的可能收益?必须考虑另一点。距离生产线越近,采矿机的价格升值的空间就越大。这不是另一种方式吗?潜在收益?

我认为,所谓的投资只不过是一种选择,这取决于每个人如何看待这一问题。对于矿机业务,在线时间是不可抗力的,矿机业务完全没有决定权。

问:您可以估算矿工的货币价格和采矿收入吗?

答:如果您了解采矿的原理,则不会做出此预测。首先,您可以获得多少枚硬币取决于多少人抢了您,即矿工的人数。目前,估计的采矿机数量约为100,000,并且有许多看不见的采矿机。如果以十万为基准,那么每个人只能分为几个人,大约有十个人的能力很好。

二级市场变化迅速,货币价格难以预测。我认为,真正的矿工不仅应限于硬币的数量和硬币的价格,而且应更多地关注采矿机产品的成本效益和令牌买卖的节奏。具有成本效益意味着采矿机的成本不能太高,采矿机房的成本不能太高,效率必须是可以接受的,这样您才能杀死同行并拥有更多的权益。买卖节奏是指进入时间,出售硬币的时间等。

问:投资者在做出选择时要注意的最重要点是什么?如何避免跳坑?有哪些共同点?

答:我们一直从三个角度审视公司:1)技术。具体的绩效是成本绩效,即相同输入的最高回报。可以从多个角度综合考虑这一点。例如,排名可以证明公司具有挖掘的基本能力。产品单位成本可以证明公司硬件的成本效益;公司技术团队的数量可用于见证公司的R&D投资。

2)官方关系。因为该项目不在网上,所以存在许多未知数,并且协议实验室是可以确定项目方向的首席设计师。因此,我们需要充分,深入和长期的沟通,以把握未来的环境。我们还看到,我们的许多同行真的在这里迷迷糊糊,任意决定硬件配置和经济模型必须改变等等。这就是为什么我们如此重视官方关系。

3)价值观。价值观决定这家公司聚集什么样的人和工作风格。 Starland的价值观是``永远真诚和专业至极'。我们始终以人为本,而不是仅仅考虑自己是采矿机的卖方。

因为对于客户而言,这不是消费者行为,而是投资行为。 Interstellar致力于成为客户的投资顾问或财务分析师,并将及时告知客户风险,判断客户的投资偏好,帮助客户进行资产配置,拒绝赌博,合理投资和人为风险控制。

问:第三个比特币减半已经完成。您如何看待下一个市场趋势?您认为IPFS / Filecoin可以引领新一轮的牛市吗?

答:每个人都认为减半后会上升的原因是因为市场卖压的减轻。回顾前两个减半,我们会发现货币价格上涨通常伴随着一些刺激事件,例如传销组织的干预和交易所的失控。随着行业开始走向主流社会,底层逻辑实际上正在不断变化。

我认为,除了销售压力的减轻,海外机构的频繁进入以及全球金融市场的不确定性外,总体情况对比特币有利。我们还已经看到,每轮牛市的开始都需要一个具有里程碑意义的事件,而今年很可能是Filecoin宣扬牛市的号角。

从“云”到“雾”:云计算将死亡,取而代之分布式的点对点网络

原始标题:从“云”到“雾”:云计算将消失,取而代之的是分布式对等网络。当云计算快速发展时,英国数字咨询公司Red Badger的技术总监Viktor Charypar发表在VentureBeat上,云服务将迎来最后。并指出点对点网络将是未来的发展方向。这篇文章是由36 compiled编译的。

云将终结。我知道这是一个大胆的结论,也许听起来有些疯狂。但是请忍受我,让我继续。

一直存在传统观点:运行服务器的应用程序,无论是Web应用程序还是移动应用程序的后端,都将在未来的云中。亚马逊,谷歌和微软在其云服务中添加了各种工具,以使在其中运行的软件服务更加轻松,便捷。因此,最好的方法是在AWS,GCP或Azure上托管代码。东西-方便,便宜,易于自动化,您可以灵活地控制秤...

那么,为什么我要预言所有这些都会结束呢?原因有几个:首先,它不能满足长期扩展要求。

即使在云中,构建可伸缩,可靠且高度可用的Web应用程序也非常困难。如果您做得很好并且使您的应用程序取得了巨大的成功,那么巨大的规模将消耗您的金钱和精力。即使您的业务非常成功,您最终也将达到云计算的极限:计算机计算速度和存储容量的增长速度超过了网络带宽。

忽略有关网络中立性的争论,这对大多数人(Netflix和Amazon除外)来说可能不是问题,但这种情况很快就会出现。随着我们的视频质量从高清到4K到8K,我们所需的数据量急剧增加,并且VR数据集将很快出现。

这是一个问题,主要是因为我们组织网络的方式。有许多用户想要获取内容并使用程序,并且很少有服务器拥有这些程序和内容。例如,当我在Slack上看到一张有趣的照片时,我想与20位坐在我旁边的人共享,但是他们都必须从托管服务的服务器下载该照片,并且服务器需要将照片发送20次。随着服务器迁移到云中,例如Amazon或Amazon或Google数据中心中的Google计算机,靠近这些地方的网络需要具有令人难以置信的吞吐量来处理所有这些数据。另外,必须有大量的硬盘来存储每个人和CPU的数据,然后通过网络将数据传输给每个需要它的人。随着流媒体服务的兴起,情况变得越来越糟。

所有这些活动都需要大量的能源和冷却,这会使整个系统效率低下,昂贵且对环境有害。

其次,它是集中而脆弱的。

集中存储我们的数据和程序的另一个问题是可用性和持久性。如果亚马逊的数据中心被小行星撞击或被龙卷风摧毁,该怎么办?或者,如果它在一段时间内断电,将会发生什么?现在无法暂停存储在其计算机上的数据,甚至也不会永久丢失。

我们通常通过将数据存储在多个位置来缓解此问题,但这仅意味着更多的数据中心。这样可以大大减少意外丢失的风险,但是您非常关心的数据又如何呢?您的婚礼视频,孩子成长的照片或重要的公共信息源,例如Wikipedia。现在,所有这些信息都存储在Facebook,Google Drive,iCloud或Dropbox之类的云端网站上。当这些服务停止运营或亏损时,数据将如何处理?即使它们没有发展到现在,也限制了您访问自己的数据的方式。与朋友分享时,必须使用他们的服务。当时,他们还必须通过此服务。

第三,它需要信任,但不能提供保护。

使用云服务,您必须说服朋友,他们获取的数据是由您发送的,并且这些数据是通过受信任的中介传递的。在大多数情况下,这可以很好地工作并且可以接受,但是我们使用的网站和网络必须经过注册才能合法运营。监管机构有权强迫他们做很多事情。在大多数情况下,这是一件好事,可以用来帮助解决犯罪或从Internet上删除非法内容,但是在很多情况下,滥用此功能。

就在几周前,西班牙政府已竭尽全力防止对加泰罗尼亚的独立进行公民投票。它采取的措施包括封锁信息网站并告诉人们在哪里投票。第四,这使我们的数据更容易受到攻击。

高度集中化的Internet真正令人恐惧的方面是个人数据的集中化。那些为我们提供服务的大公司拥有大量数据,这些数据包含足够的信息,可以预测您将要买的东西,将投票给谁,您可能会买房子,甚至可能有多少孩子。这些信息足以申请信用卡,贷款,甚至以您的名义购买房屋。

此外,您可能也同意。毕竟,如果您选择他们的服务,则只能信任他们。但这不是您需要担心的事情。您需要担心的是其他人。今年早些时候,信用报告机构Equifax丢失了1.4亿客户的数据,这是历史上最大的数据泄露事件之一。这些数据现已公开。我们可以将其视为十年一次的活动。如果我们更加谨慎,可以避免这种情况,但是越来越明显的是,这样的数据泄漏很难完全避免。而且一旦出现,那就太危险了,不能容忍。真正防止此类事件再次发生的唯一方法是,首先不收集此类大规模数据。

那么,什么将取代云?

互联网主要由客户端-服务器协议(例如HTTP)支持,基于中央机构信任的安全性(例如TLS)存在缺陷,并且会引起一些基本难以解决或无法解决的问题。是时候找到更好的东西了-一个模型框架,在这个模型框架中,没有其他人可以完全存储您的个人数据,大媒体文件分布在整个网络中,整个系统完全是点对点和无服务器的(我并不是说从托管的角度讲,这是一种“无服务器”云,我的意思是实际上没有服务器)。

在这一领域,我已经阅读了很多文献,并且我坚信点对点是我们未来的必然发展方向。对等网络技术使用协议和策略来替代我们所知道的网络构建块,并解决了我上面提到的大多数问题。

我们的目标是建立一个完全分布式,永久冗余的数据存储,并且每个参与网络的用户都在存储一些可用数据的副本。

如果您听说过BitTorrent,那么以下内容听起来应该很熟悉。在BitTorrent上,网络用户可以将大型数据文件分为较小的块或片段(每个块具有唯一的ID),而无需任何中央权限的授权。要下载文件,您只需要一个“魔术”数字,它是一个散列,即内容的指纹。然后,您的BitTorrent客户端将根据“内容指纹”找到拥有文件碎片的用户,并从文件中一个一个地下载文件碎片,直到您拥有所有碎片为止。

有趣的一点是如何匹配用户。

BitTorrent使用称为Kademlia的协议。在Kademlia中,网络上的每个对等方都有一个唯一的ID号,其长度与唯一的块ID相同。它将在节点上存储具有特定ID的块,该节点的ID与该块的ID“最接近”。块和网络对等点的随机ID在整个网络中的存储分布中应该相当一致。但是,块ID不需要随机选择,而是使用加密散列-这是块本身内容的唯一指纹,这是有益的。确保这些块是可寻址的。这也使验证块的内容(通过重新计算和比较指纹)变得更加容易,并且可以确保用户无法下载原始数据以外的数据。

另一个有趣的功能是,通过将一个块的ID嵌入到另一个块的内容中,可以以不被篡改的方式将两个块连接在一起。

如果链接块的内容更改,则其ID将更改并且链接将被破坏。如果修改了嵌入式链接,则包含块的ID也将相应更改。

这种将一个区块的ID嵌入另一个区块的机制可以创建这样的区块链(例如由比特币和其他加密货币提供动力的区块链),甚至是更复杂的结构,通常称为有向无环图或DAG。短的。 (在拉尔夫·默克尔(Ralph Merkle)发明了这种链接之后,通常将其称为“默克尔链接”。因此,如果您听到有人谈论默克尔DAG,您可能知道他们在说什么。)默克尔DAG的一个常见示例是Git存储库。Git将提交历史记录以及所有目录和文件保存在一个巨大的Merkle DAG中。

这导致了基于内容寻址的分布式存储的另一个有趣的功能:它是不可变的。

内容无法更改。相反,新修订版将存储在现有修订版的旁边。在两个修订版之间未更改的块将被重用,因为根据定义,它们具有相同的ID。这也意味着不能在这样的存储系统中复制相同的文件,也不能将其转换为有效的存储。因此,在这个新网络上,每个唯一的搞笑图片仅存在一次(尽管整个组中有多个副本)。

诸如Kademlia,Merkle链和Merkle DAG之类的协议为我们提供了工具,用于对文件级别和修订时间表进行建模,并在大型P2P网络中共享它们。已经有一些协议使用这些技术来构建满足我们需求的分布式存储。看起来很有希望的是IPFS。

名称和共享问题很好。通过以上技术,我们可以解决我一开始就提出的一些问题:我们在连接到网络的设备上获得了分布式的,高度冗余的存储,这些设备可以记录文件的历史记录。 ,并在需要时保留所有版本。这(几乎)解决了可用性,容量,耐用性和内容验证的问题。它还解决了带宽问题,因为它使用了点对点的数据传输,因此没有服务器负担不起的情况。

我们还需要可扩展的计算资源,但这并不困难:每个人的笔记本电脑和手机现在都比大多数应用程序所需的功能更强大(包括相当复杂的机器学习计算),并且计算通常是可扩展的。

因此,只要我们能使每台设备为用户做必要的工作,就不会有大的问题。

因此,现在我在Slack上看到的有趣图片可以来自坐在我旁边的一位同事,而不是来自Slack的服务器(在此过程中,不会出现“海洋”现象)。但是,为了发布有趣的照片,我需要更新一个频道(也就是说,该频道将不再是发送消息之前的状态,它将发生变化)。这听起来很简单,是整个系统中最难的部分。

最难的部分:实时更新实体的概念将随着时间而改变。这实际上只是一个人类独有的想法,它使世界在我们的思想中具有秩序感和稳定感。我们还可以将这样的实体视为身份或名称,随着时间的流逝,它将展现出一系列不同的值(它是静态且不可变的)。 (Richard Hickey在讲话中很好地解释了这一点,请戳这里观看)。在计算机中模拟信息是一种更自然的方式,并且会产生更自然的结果。如果我告诉你一件事,我将无法再改变对你说的话,也无法让你忘记它。例如,美国总统的身份不会随着时间的推移而改变。它只会被具有相同性质(身份和名称)的其他事实(人)代替。在Git示例中,ref(分支或标签)可以在不同的时间点指向(持有ID和值)不同的提交,并提交提交以替换当前持有的值。 Slack通道还代表一种身份,其价值会随着时间的推移而不断增长。

真正的问题是我们不是唯一拥有访问权限的人。许多人有时试图同时发布新闻和更改频道,并且需要确定结果。

在集中式系统中,几乎所有当前的Web应用程序都具有一个中央实体来确定结果并序列化事件。但是,在分布式系统中,每个人都是平等的,因此需要一种机制来确保可以在网络上达成共识。

处理分布式共识有一些主要策略。问题之一是选择一个相对较小的“小组”经理。他们的机制是选择一个决定事实真相的“领导者”(如果您有兴趣,请参阅Paxos和Raft协议)。所有更改都将通过这些管理器进行。这实际上是一个集中式系统,可以补偿中央决策实体的丢失或网络中的中断(“分区”)。

另一种方法是基于验证的系统,如比特币区块链,其中通过让用户解决“难题”(例如,在Merkle链中添加有效的区块)来编写更新,以达成共识。这种“困难”很难解决,但很容易发现。如果冲突仍然存在,则需要一些其他规则来解决它。其他几个分布式区块链使用基于验证的共识,同时降低了解决问题的能源需求。如果您有兴趣,可以阅读此白皮书中有关BitFury的相关证据。

处理特定问题的另一种方法是围绕CRDT(一种无冲突的副本数据类型)运行,在某些情况下不会受到共识问题的困扰。最简单的例子是一个递增计数器。如果所有更新只是“添加一个”,只要我们确保每个更新仅应用一次,顺序就不重要了,结果将是相同的。

这个问题似乎没有一个明确的答案,也许永远不会只有一个答案,但是有很多聪明的人正在努力解决这个问题,并且已经有很多有趣的解决方案可供选择。您只能称量它。这种权衡通常反映在您“定位”的组的规模上,以及从您愿意放弃可用性或一致性(或从技术上讲,是网络划分,但在高度分布式的系统中)的共识中选择的特征。 ,就像我们正在讨论的系统一样,这似乎很难避免。只要状态在合理的时间内保持一致,大多数应用程序似乎就支持可用性而不是即时一致性。

公共文件网络中的隐私问题中需要解决的一个明显问题是隐私问题。也就是说,如何在不将内容公开的情况下将其存储在分布式群集中?如果它可以隐藏事物,那么内容地址存储是一个不错的选择,因为要找到某物,您需要知道它的内容。柱子。因此,从本质上讲,我们具有三个级别的隐私:公共,隐藏和私有。第三个问题的答案似乎是对存储内容和“外部”共享密钥(例如纸张共享,NFC设备传输或QR码扫描等)的加密强加密。

起初,依靠加密技术听起来可能有风险(毕竟,黑客总是会发现漏洞),但实际上,这并不比我们今天做的糟。实际上,这在实践中可能会更好。公司和政府经常以无法与公众共享的方式存储敏感数据(包括数据中涉及的个人)。相反,只有拥有数据的组织雇用的少量员工可以访问它,并且至少在密码方面受到了保护。通常,如果您可以访问存储此数据的系统,则可以拥有所有这些数据。

但是,如果我们转而以公开的方式存储私有数据,那么我们就必须保护它(使用强大的加密技术),这对于任何获得访问权限的人都是不利的。 。这个想法与安全性相关软件开发人员开放代码的原始意图相同,因此任何人都可以查看和发现问题。知道安全系统的工作原理并不能帮助您破坏它。

此访问控制的一个有趣功能是,一旦您授予某人访问某些数据的权限,他们将始终修改该数据。当然,您可以随时更改加密密钥。尽管这可能并不明显,但这并不比我们今天的情况更糟:只要他们能够访问某些数据,任何人都可以复制它们。

在这一领域中,有趣的挑战是建立一个良好的系统,该系统可以验证身份并在需要随时间变化的一群人之间共享私有数据。例如,在私有Git存储库中有一组协作者。绝对可以通过私钥密码和旋转密钥的某种组合来实现,但是对于用户来说,要获得流畅的体验可能是一个挑战。

从云到雾,尽管有一些问题需要解决,但我们从云计算的迁移将是一个非常令人振奋的未来。首先,就技术而言,我们应该从对等网络中获得很多改进。内容可寻址存储可以在不受信任的授权下提供内容本身的加密验证,并执行永久托管(只要有人对此感兴趣),即使它处于边缘状态,我们也应该能够看到其速度显着提高发展中国家远离数据中心(甚至在另一个星球上)。在某些时候,甚至数据中心也可能成为历史。消费类设备已经变得如此强大和无处不在,几乎可以在任何地方看到计算能力和存储空间。

对于运行Web应用程序的公司,此更改将节省大量成本。公司还将能够减少对停机风险的关注,而将更多的精力放在增加客户价值上,以使所有人受益。

我们仍然需要云托管服务器,但它们只是许多类似服务器中的一种。我们还可以看到更加多样化的应用程序,在这些应用程序中,并非所有应用程序都是相同的-在同一个应用程序中,存在面向消费者和后端的功能,不同之处仅在于访问权限不同。

对于企业和客户而言,另一个巨大的好处是处理客户数据。当不再需要集中存储大量客户信息时,将减少丢失这些数据的风险。软件工程领域的领导者(例如,Erlang的创始人乔·阿姆斯特朗(Joe Armstrong),他的谈话值得关注)长期以来一直认为,在Internet上,将数据发送到公司程序的客户的设计正在退化,公司应该向客户发送客户。发送程序,以便它们可以执行私有数据,并且这些数据将不会直接共享。

这样的模型似乎更安全,并且不会阻止公司以任何方式收集他们需要的有用的用户指标。

此外,当前尚无办法阻止不透明并保留私有数据的混合服务模型。

这种类型的应用程序架构似乎是提供大规模计算和软件服务的一种更自然的方式,并且也更接近于开放信息交换的思想,任何人都可以轻松地将内容转发给其他人并控制发布和访问该资源不受拥有服务器的私有实体的控制。

对我来说,这非常令人兴奋。这就是为什么我要组成一个小组,在几周内使用上面提到的一些技术来构建一个简单的移动应用程序,以证明这一概念并展示可以通过对等网络完成的事情。到目前为止,我唯一的想法是小到足以相对快速和有趣,足以证明此方法的功能是Twitter的对等,真正无服务器的克隆,但这并不是特别令人兴奋。

为什么我认为云计算将走向终结?

原标题:为什么我认为云计算将告一段落?

一直存在传统观点:运行服务器的应用程序,无论是Web应用程序还是移动应用程序的后端,都将在未来的云中。亚马逊,谷歌和微软在其云服务中添加了各种工具,以使在其中运行的软件服务更加轻松,便捷。因此,最好的方法是在AWS,GCP或Azure上托管代码。东西-方便,便宜,易于自动化,您可以灵活地控制秤...

那么,为什么我要预言所有这些都会结束呢?原因有以下几个:1.无法满足长期扩展要求,无法构建可伸缩,可靠且高度可用的Web应用程序,即使在云中也很难。如果您做得很好并且使您的应用程序取得了巨大的成功,那么巨大的规模将消耗您的金钱和精力。即使您的业务非常成功,您最终也将达到云计算的极限:计算机计算速度和存储容量的增长速度超过了网络带宽。

忽略有关网络中立性的争论,这对大多数人(Netflix和Amazon除外)来说可能不是问题,但这种情况很快就会出现。随着我们的视频质量从高清到4K到8K,我们所需的数据量急剧增加,并且VR数据集将很快出现。

这是一个问题,主要是因为我们组织网络的方式。有许多用户想要获取内容并使用程序,并且很少有服务器拥有这些程序和内容。例如,当我在Slack上看到一张有趣的照片时,我想与20位坐在我旁边的人共享,但是他们都必须从托管服务的服务器下载该照片,并且服务器需要将照片发送20次。随着服务器迁移到云中,例如Amazon或Amazon或Google数据中心中的Google计算机,靠近这些地方的网络需要具有令人难以置信的吞吐量来处理所有这些数据。另外,必须有大量的硬盘来存储每个人和CPU的数据,然后通过网络将数据传输给每个需要它的人。随着流媒体服务的兴起,情况变得越来越糟。

所有这些活动都需要大量的能源和冷却,这会使整个系统效率低下,昂贵且对环境有害。

其次,它是我们的数据和程序的集中且脆弱的集中存储。另一个问题是可用性和耐用性。如果亚马逊的数据中心被小行星撞击或被龙卷风摧毁,该怎么办?或者,如果它在一段时间内断电,将会发生什么?现在无法暂停存储在其计算机上的数据,甚至也不会永久丢失。

我们通常通过将数据存储在多个位置来缓解此问题,但这仅意味着更多的数据中心。这样可以大大减少意外丢失的风险,但是您非常关心的数据又如何呢?您的婚礼视频,孩子成长的照片或重要的公共信息源,例如Wikipedia。现在,所有这些信息都存储在Facebook,Google Drive,iCloud或Dropbox之类的云端网站上。当这些服务停止运营或亏损时,数据将如何处理?即使它们没有发展到现在,也限制了您访问自己的数据的方式。与朋友分享时,必须使用他们的服务。当时,他们还必须通过此服务。

3.它需要信任,但不能提供使用云服务的保证。您必须说服朋友,他们获取的数据是由您发送的,并且这些数据是通过可信任的中间人传递的。在大多数情况下,这可以很好地工作并且可以接受,但是我们使用的网站和网络必须经过注册才能合法运营。监管机构有权强迫他们做很多事情。在大多数情况下,这是一件好事,可以用来帮助解决犯罪或从Internet上删除非法内容,但是在很多情况下,滥用此功能。

就在几周前,西班牙政府已竭尽全力防止对加泰罗尼亚的独立进行公民投票。它采取的措施包括封锁信息网站并告诉人们在哪里投票。4.它使我们的数据更容易受到攻击。高度集中化的Internet真正令人恐惧的方面是个人数据的集中化。那些为我们提供服务的大公司拥有大量数据,这些数据包含足够的信息,可以预测您将要买的东西,将投票给谁,您可能会买房子,甚至可能有多少孩子。这些信息足以申请信用卡,贷款,甚至以您的名义购买房屋。

此外,您可能也同意。毕竟,如果您选择他们的服务,则只能信任他们。但这不是您需要担心的事情。您需要担心的是其他人。今年早些时候,信用报告机构Equifax丢失了1.4亿客户的数据,这是历史上最大的数据泄露事件之一。这些数据现已公开。我们可以将其视为十年一次的活动。如果我们更加谨慎,可以避免这种情况,但是越来越明显的是,这样的数据泄漏很难完全避免。而且一旦出现,那就太危险了,不能容忍。真正防止此类事件再次发生的唯一方法是,首先不收集此类大规模数据。

那么,什么将取代云?

互联网主要由客户端-服务器协议(例如HTTP)支持,基于中央机构信任的安全性(例如TLS)存在缺陷,并且会引起一些基本难以解决或无法解决的问题。

是时候找到更好的东西了-一个模型框架,在这个模型框架中,没有其他人可以完全存储您的个人数据,大媒体文件分布在整个网络中,整个系统完全是点对点和无服务器的(我并不是说从托管的角度讲,这是一种“无服务器”云,我的意思是实际上没有服务器)。

在这一领域,我已经阅读了很多文献,并且我坚信点对点是我们未来的必然发展方向。对等网络技术使用协议和策略来替代我们所知道的网络构建块,并解决了我上面提到的大多数问题。我们的目标是建立一个完全分布式,永久冗余的数据存储,并且每个参与网络的用户都在存储一些可用数据的副本。

如果您听说过BitTorrent,那么以下内容听起来应该很熟悉。在BitTorrent上,网络用户可以将大型数据文件分为较小的块或片段(每个块具有唯一的ID),而无需任何中央权限的授权。要下载文件,您只需要一个“魔术”数字,它是一个散列,即内容的指纹。然后,您的BitTorrent客户端将根据“内容指纹”找到拥有文件碎片的用户,并从文件中一个一个地下载文件碎片,直到您拥有所有碎片为止。

有趣的一点是如何匹配用户。 BitTorrent使用称为Kademlia的协议。在Kademlia中,网络上的每个对等方都有一个唯一的ID号,其长度与唯一的块ID相同。它将在节点上存储具有特定ID的块,该节点的ID与该块的ID“最接近”。块和网络对等点的随机ID在整个网络中的存储分布中应该相当一致。但是,块ID不需要随机选择,而是使用加密散列-这是块本身内容的唯一指纹,这是有益的。确保这些块是可寻址的。这也使验证块的内容(通过重新计算和比较指纹)变得更加容易,并且可以确保用户无法下载原始数据以外的数据。

另一个有趣的功能是,通过将一个块的ID嵌入到另一个块的内容中,可以以不被篡改的方式将两个块连接在一起。如果链接块的内容更改,则其ID将更改并且链接将被破坏。如果修改了嵌入式链接,则包含块的ID也将相应更改。

这种将一个区块的ID嵌入另一个区块的机制可以创建这样的区块链(例如由比特币和其他加密货币提供动力的区块链),甚至是更复杂的结构,通常称为有向无环图或DAG。短的。 (在拉尔夫·默克尔(Ralph Merkle)发明了这种链接之后,通常将其称为“默克尔链接”。因此,如果您听到有人谈论默克尔DAG,您可能知道他们在说什么。)默克尔DAG的一个常见示例是Git存储库。Git将提交历史记录以及所有目录和文件保存在一个巨大的Merkle DAG中。

这导致了基于内容寻址的分布式存储的另一个有趣的功能:它是不可变的。内容无法更改。相反,新修订版将存储在现有修订版的旁边。在两个修订版之间未更改的块将被重用,因为根据定义,它们具有相同的ID。这也意味着不能在这样的存储系统中复制相同的文件,也不能将其转换为有效的存储。因此,在这个新网络上,每个唯一的搞笑图片仅存在一次(尽管整个组中有多个副本)。

诸如Kademlia,Merkle链和Merkle DAG之类的协议为我们提供了工具,用于对文件级别和修订时间表进行建模,并在大型P2P网络中共享它们。已经有一些协议使用这些技术来构建满足我们需求的分布式存储。看起来很有希望的是IPFS。

名称和共享问题很好。通过以上技术,我们可以解决我一开始就提出的一些问题:我们在连接到网络的设备上获得了分布式的,高度冗余的存储,这些设备可以记录文件的历史记录。 ,并在需要时保留所有版本。这(几乎)解决了可用性,容量,耐用性和内容验证的问题。它还解决了带宽问题,因为它使用了点对点的数据传输,因此没有服务器负担不起的情况。

我们还需要可扩展的计算资源,但这并不困难:每个人的笔记本电脑和手机现在都比大多数应用程序所需的功能更强大(包括相当复杂的机器学习计算),并且计算通常是可扩展的。因此,只要我们能使每台设备为用户做必要的工作,就不会有大的问题。

因此,现在我在Slack上看到的有趣图片可以来自坐在我旁边的一位同事,而不是来自Slack的服务器(在此过程中,不会出现“海洋”现象)。但是,为了发布有趣的照片,我需要更新一个频道(也就是说,该频道将不再是发送消息之前的状态,它将发生变化)。这听起来很简单,是整个系统中最难的部分。

最难的部分:实时更新实体的概念将随着时间而改变。这实际上只是一个人类独有的想法,它使世界在我们的思想中具有秩序感和稳定感。我们还可以将这样的实体视为身份或名称,随着时间的流逝,它将展现出一系列不同的值(它是静态且不可变的)。在计算机中模拟信息是一种更自然的方式,并且会产生更自然的结果。如果我告诉你一件事,我将无法再改变对你说的话,也无法让你忘记它。例如,美国总统的身份不会随着时间的推移而改变。它只会被具有相同性质(身份和名称)的其他事实(人)代替。在Git示例中,ref(分支或标签)可以在不同的时间点指向(持有ID和值)不同的提交,并提交提交以替换当前持有的值。 Slack通道还代表一种身份,其价值会随着时间的推移而不断增长。

真正的问题是我们不是唯一拥有访问权限的人。许多人有时试图同时发布新闻和更改频道,并且需要确定结果。

在集中式系统中,几乎所有当前的Web应用程序都具有一个中央实体来确定结果并序列化事件。但是,在分布式系统中,每个人都是平等的,因此需要一种机制来确保可以在网络上达成共识。

处理分布式共识有一些主要策略。问题之一是选择一个相对较小的“小组”经理。他们的机制是选择一个决定事实真相的“领导者”(如果您有兴趣,请参阅Paxos和Raft协议)。所有更改都将通过这些管理器进行。这实际上是一个集中式系统,可以补偿中央决策实体的丢失或网络中的中断(“分区”)。

另一种方法是基于验证的系统,如比特币区块链,其中通过让用户解决“难题”(例如,在Merkle链中添加有效的区块)来编写更新,以达成共识。这种“困难”很难解决,但很容易发现。如果冲突仍然存在,则需要一些其他规则来解决它。其他几个分布式区块链使用基于验证的共识,同时降低了解决问题的能源需求。如果您有兴趣,可以阅读此白皮书中有关BitFury的相关证据。

处理特定问题的另一种方法是围绕CRDT(一种无冲突的副本数据类型)运行,在某些情况下不会受到共识问题的困扰。最简单的例子是一个递增计数器。如果所有更新只是“添加一个”,只要我们确保每个更新仅应用一次,顺序就不重要了,结果将是相同的。

这个问题似乎没有一个明确的答案,也许永远不会只有一个答案,但是有很多聪明的人正在努力解决这个问题,并且已经有很多有趣的解决方案可供选择。您只能称量它。这种权衡通常反映在您“定位”的组的规模上,以及从您愿意放弃可用性或一致性(或从技术上讲,是网络划分,但在高度分布式的系统中)的共识中选择的特征。 ,就像我们正在讨论的系统一样,这似乎很难避免。只要状态在合理的时间内保持一致,大多数应用程序似乎就支持可用性而不是即时一致性。

公共文件网络中的隐私问题中需要解决的一个明显问题是隐私问题。也就是说,如何在不将内容公开的情况下将其存储在分布式群集中?如果它可以隐藏事物,那么内容地址存储是一个不错的选择,因为要找到某物,您需要知道它的内容。柱子。因此,从本质上讲,我们具有三个级别的隐私:公共,隐藏和私有。第三个问题的答案似乎是对存储内容和“外部”共享密钥(例如纸张共享,NFC设备传输或QR码扫描等)的加密强加密。

起初,依靠加密技术听起来可能有风险(毕竟,黑客总是会发现漏洞),但实际上,这并不比我们今天做的糟。实际上,这在实践中可能会更好。公司和政府经常以无法与公众共享的方式存储敏感数据(包括数据中涉及的个人)。相反,只有拥有数据的组织雇用的少量员工可以访问它,并且至少在密码方面受到了保护。通常,如果您可以访问存储此数据的系统,则可以拥有所有这些数据。

但是,如果我们转而以公开的方式存储私有数据,那么我们就必须保护它(使用强大的加密技术),这对于任何获得访问权限的人都是不利的。 。这个想法与安全性相关软件开发人员开放代码的原始意图相同,因此任何人都可以查看和发现问题。知道安全系统的工作原理并不能帮助您破坏它。

此访问控制的一个有趣功能是,一旦您授予某人访问某些数据的权限,他们将始终修改该数据。当然,您可以随时更改加密密钥。尽管这可能并不明显,但这并不比我们今天的情况更糟:只要他们能够访问某些数据,任何人都可以复制它们。

在这一领域中,有趣的挑战是建立一个良好的系统,该系统可以验证身份并在需要随时间变化的一群人之间共享私有数据。例如,在私有Git存储库中有一组协作者。绝对可以通过私钥密码和旋转密钥的某种组合来实现,但是对于用户来说,要获得流畅的体验可能是一个挑战。

从云到雾,尽管有一些问题需要解决,但我们从云计算的迁移将是一个非常令人振奋的未来。首先,就技术而言,我们应该从对等网络中获得很多改进。内容可寻址存储可以在不受信任的授权下提供内容本身的加密验证,并执行永久托管(只要有人对此感兴趣),即使它处于边缘状态,我们也应该能够看到其速度显着提高发展中国家远离数据中心(甚至在另一个星球上)。在某些时候,甚至数据中心也可能成为历史。消费类设备已经变得如此强大和无处不在,几乎可以在任何地方看到计算能力和存储空间。

对于运行Web应用程序的公司,此更改将节省大量成本。公司还将能够减少对停机风险的关注,而将更多的精力放在增加客户价值上,以使所有人受益。我们仍然需要云托管服务器,但它们只是许多类似服务器中的一种。我们还可以看到更加多样化的应用程序,在这些应用程序中,并非所有应用程序都是相同的-在同一个应用程序中,存在面向消费者和后端的功能,不同之处仅在于访问权限不同。

对于企业和客户而言,另一个巨大的好处是处理客户数据。当不再需要集中存储大量客户信息时,将减少丢失这些数据的风险。软件工程领域的领导者(例如,Erlang的创始人乔·阿姆斯特朗(Joe Armstrong),他的谈话值得关注)长期以来一直认为,在Internet上,将数据发送到公司程序的客户的设计正在退化,公司应该向客户发送客户。发送程序,以便它们可以执行私有数据,并且这些数据将不会直接共享。这样的模型似乎更安全,并且不会阻止公司以任何方式收集他们需要的有用的用户指标。

此外,当前尚无办法阻止不透明并保留私有数据的混合服务模型。

这种类型的应用程序架构似乎是提供大规模计算和软件服务的一种更自然的方式,并且也更接近于开放信息交换的思想,任何人都可以轻松地将内容转发给其他人并控制发布和访问该资源不受拥有服务器的私有实体的控制。

对我来说,这非常令人兴奋。这就是为什么我要组成一个小组,在几周内使用上面提到的一些技术来构建一个简单的移动应用程序,以证明这一概念并展示可以通过对等网络完成的事情。到目前为止,我唯一的想法是小到足以相对快速和有趣,足以证明此方法的功能是Twitter的对等,真正无服务器的克隆,但这并不是特别令人兴奋。

微信
登录
用户名
密码
注册
用户名
密码
确认密码
昵称
邮箱
QQ
找回密码
用户名
邮箱
※ 重置链接将发送到邮箱