Skip to main content
 首页 » IPFS

ipfs现在面临的挑战是什么

2021年08月15日36

ipfs挖矿有风险吗?ipfs没有风险的原因是什么?ipfs合法吗?

这种理解是错误的。他们是盟友,而不是敌人。 IPFS 是一组基本协议。随着越来越多的人使用它,越来越多的人开发应用程序,IPFS 将不断发展壮大。想想为什么 Wsoft 的移动 Windows 正在消亡?它是应用程序的开发。人太少了! H蒙古系统目前面临的最大挑战是什么?不是说参与的人不多吗?想要活得和ipfs一样快,好,就离不开这个巨人的知识和应用。巨头们愿意为他们的团队投入时间和金钱进行研究,从另一个角度来看,这项技术还是可靠的。

未来不足1.5%的数据被存储!IPFS存储架构应用正在爆发

文/西部数据副总裁兼中国业务总经理李进刘刚,“预计到2024年,以HDD为代表的大数据将增长到1.62ZB,年均复合增长率约为30% ;通过SSD测得的logo快数据将达到333EB,年均复合增长率接近50%。但与当年143ZB的总数据相比,存储的数据不足1.5%。”

在近日举行的“2021深圳国际大数据与存储峰会暨展览会”上,西部数据副总裁、中国区运营总经理刘刚指出了存储领域面临的困境。在他看来,目前的存储架构和技术还没有跟上数据的爆炸式增长,创新的存储架构可以大大缓解这种情况。

峰会西数展台的大数据存储困境:存储架构和技术跟不上数据的发展。 “数据生成速度过快”与“存储的数据非常有限”之间的矛盾,仍然是存储行业需要正视的问题。刘刚引用两组数据表示,预计到2024年,以HDD为代表的大数据将增长到1.62ZB,年均复合增长率约为30%。除了存储数据外,还有一部分快速数据以SSD作为度量符号,对数据进行挖掘和计算。 2024年快数据将达到333EB,年均复合增长率接近50%。大数据和快数据总量加起来大约2ZB,当年的数据总量将达到142ZB,这意味着不到1.5%的数据会被存储。

“在数字经济时代,数据就像石油,是发展的源泉。为什么这么多珍贵的‘石油’或资源没有被存储、挖掘和分析?一个重要的原因是存储架构和存储技术跟不上,数据的发展导致大量数据白白浪费,因此需要创新的存储架构来提供存储和快速访问更多数据。存储行业面临着几个挑战——用户渴望大容量、快速访问、低成本、低功耗的存储,但很难有单一的存储介质和存储设备同时满足这些需求。”刘刚感慨道。

幸运的是,由于用户数据需要分层,而这些数据的类型不同,其存储需求也不一致。企业可以采用创新的存储架构作为一个系统来满足用户在各种存储场景下的需求。IPFS存储架构有哪些优势?

“创新的存储架构包括分布式存储架构。”刘刚解释说,存储架构包括集中式云存储和分散式分布式存储。比如基于Web3.0和IPFS(Inter Planetary File System)存储架构的存储就是去中心化分布式存储。这种类型的存储可以凭借新的存储架构降低部署和运营成本。

在应用方面,去中心化的IPFS可以降低目前中心化云存储的成本。云存储服务费用的成本结构有哪些特点?其实,最初在云存储领域有一个分布式的去中心化存储架构,叫做Storj,用户可以在线购买相应的服务。 IPFS存储架构的出现,进一步优化了云存储的去中心化,节省了为企业提供服务的成本。

·分层存储的概念 除了IPFS存储架构,西部数据根据数据访问频率大致分为五类:极热数据、热数据、暖数据、冷数据和极冷数据。对于不同的数据,所使用的存储介质和存储设备也不同,既能保证海量大数据的存储,又能满足快速数据的快速访问。由于不同的数据对时延和容量的要求不同,西部数据也针对不同的数据划分了相应的应用场景。从访问频率由高到低,对应的存储类型可分为:极热存储、热存储、温存储、冷存储和极冷存储。

在这些分层存储应用场景中,主要有两大类:大数据存储应用和快速数据计算应用。据刘刚介绍,大数据存储主要包括极冷存储和冷存储,快速数据计算主要涉及极热存储、热存储和温存储。西部数据在这两类存储应用上都有完整的产品和解决方案。

·西数18T硬盘在大数据存储中的优势行业冷存储和超冷存储的主流解决方案是高密度、大容量的企业级硬盘解决方案。目前,高密企业级硬盘已经发展到18T,有的企业甚至将软件和技术优化用于极冷存储,采用SMR叠瓦式硬盘实现20T高密企业级硬盘。比如全球领先的云存储服务商Dropbox,去年底就已经迁移到20T SMR HDD。说到SMR,一些消费者可能会质疑它的写入性能和可靠性。对此,刘刚在后续媒体组采访中解释说:“16T硬盘通过改进技术变成了18T,如果采用SMR技术,这块硬盘的容量会变成20T,就是通过增加磁道间隙来实现的不过这需要用户在使用20T SMR高密硬盘时在软件上做一些调整,保证顺序写入,有的公司没有注意这个细节,也没有朝这个方向调整优化,造成了一些消费者质疑SMR技术。”刘刚认为,SMR适用于冷库和极冷库。它最早的应用场景是视频监控,也可以存储网上商店的数据、财务账单、医疗数据。以上数据可能是极冷数据。许多云服务提供商已经在积极部署 SMR。

刘刚现场演示,西部数据的企业级硬盘在过去几个季度提高了18T硬盘的良率。无论是互联网服务商还是IPFS服务商,部署18T是大势所趋。刘刚在现场展示了西部数据的18T硬盘。他说:“从去年第四季度开始快速部署,将在2021年Q1快速得到顶级互联网服务商的验证和测试。从2021年Q2开始,很多IPFS公司和云服务商都考虑迁移数据到18T高密度硬盘,甚至一些对高密度有极高需求的用户还是觉得18T硬盘不够用,今年下半年我们会提供20T硬盘,有的公司已经在测试和正在核实中。部署将于明年开始。”

值得强调的是,头部云服务商使用的硬盘从8T进化到18T用了整整四年(2017-2021),而IPFS服务商只用了四个季度(2020年Q2-2021)。 Q2)。 IPFS服务商从8T演进到12T、14T、16T,很快过渡到18T。事实上,当数据中心使用的硬盘从14T升级到18T时,在相同存储容量下,服务器数量可以减少22%,单块硬盘容量可以增加29%,并且单位功耗可降低21%。维护成本也较低。

·西部数据SSD产品在快数据领域的优势西部数据推出了两款基于 96 层 3D NAND 的 SSD,用于热存储和温存储等快速数据。其中之一是主流的Ultrastar DC SN640 NVMe SSD,适用于读写平衡的混合工作负载应用;另一款是写入密集型和计算密集型的高性能Ultrastar DC SN840 NVMe SSD,适用于密集型工作负载应用。此外,西部数据和铠侠在今年2月份推出了162层第六代3D闪存技术。

据刘刚介绍,西部数据和铠侠提供了全球33%的闪存产能。两家公司联合推出的第六代3D闪存技术相比第五代产品,芯片尺寸缩小了40%,侧单元密度更高,程序性能提升两倍以上,减少了读取延迟 10%。 /输出 IOPS 增加了 66%。

“从材料本身来看,3D NAND的堆叠层数越高,风险越大,对工艺和投资的要求也越高。3D NAND 96层之后,后续产品的层数许多公司并不一致。”刘刚特别强调在同一代技术中,一家公司的3D NAND层数越少,其技术就越先进,因为它可以满足闪存的性能要求,而无需堆叠太多层。 96层之后,西部数据是112层而不是120层,然后是162层而不是170或190层,说明西部数据可以实现更高的单位面积密度。

除了增加层数之外,还有一种增加存储密度的方法:闪存颗粒从TLC变为QLC,甚至PLC。事实上,存储增长密度的方式不是一维的,它可以垂直增长,也可以在一个单位内增长。 “西部数据的企业级SSD具有垂直整合优势,我们拥有先进的SSD控制器和高性能独立固件垂直整合Flash,最终实现非常稳定的一致性。以一家大型电子商务公司的应用为例,他们要求SSD波动幅度不超过10%,用UltrastarTM DC SN640 NVMe SSD测得的波动数据为0.11%。”刘刚表示,对于SSD产品来说,稳定的一致性是极其重要的,因为这涉及到很多因素。

可靠性与生产过程和硬盘的设计和控制有关。首先,闪存与工艺周期有关。如果没有大规模的生产能力,就很难过生产周期。另外,随着SSD容量的增加,其大部分成本将在闪存中,控制器和接口成本的比例会越来越小,因此产能非常重要;二是技术领先。企业需要追求整个硬盘的性能,而不仅仅是关注闪存材料的性能和可靠性。基于整体的可靠性,可以很好地开发控制器和固件。以上因素是企业能够实现的垂直整合。只有做到极致优化,才能提供超稳定的一致性。 “只有熟悉了材料、控制器和框架,才能实现垂直整合。”刘刚强调。

总之,西部数据可以满足用户不同的存储和计算需求,可以提供适合不同层次数据的存储产品。无论是大数据存储还是快速数据计算,都有相应的产品。如果这样的存储架构和存储技术用在 IPFS 或 Web3.0 场景中,会是什么样的应用呢?

IPFS服务商和西部数据的产品组合对于IPFS服务商来说,目前的存储解决方案存在数据吞吐量低、空间利用率低、扩展困难、总拥有成本高、运维效率低、故障惩罚高等痛点.在IPFS层面,“存储计算分离”已经是共识。在计算集群方面,西部数据有7.68​​TB的SSD;在存储集群方面,西部数据推荐使用18TB高密硬盘,4U60+18T存储方案和传统4U36+相比16T存储方案,机柜数量减少46%,功耗降低36%,可大规模降低部署和运维成本。

西部数据与合作伙伴共同推出了各种IPFS解决方案。典型应用案例包括:XSKY、浪潮和西部数据推出的IPFS解决方案,基于西部数据的Ultrastar DC HC550 18TB HDD硬盘、浪潮英信服务器NF5466M5、XSKY的文件存储系统等关键组件。可实现快速部署,方便运维。与4U36服务器+14TB硬盘方案相比,4U36+18TB硬盘方案可以节省22%的机柜空间,节省两倍以上的硬件资源,降低20%的功耗。山岩数据的MOS海量对象存储系统采用西部数据的Ultrastar DC SN840/640 NVMe SSD、Ultrastar DC HC550 HDD和JBOD存储平台。与主流4U36+16T方案相比,4U60+18T协同方案可将服务器节点数量减少47%,节省机柜空间46%,功耗降低36%。

长城超云不仅在存储集群中使用了西部数据的产品,在计算集群中还使用了Ultrastar DC SN640 NVMe SSD,以提高封装效率,获得更高的性能和稳定的运行。此外,IPFS分布式存储服务器厂商灵动还在计算机集群和存储集群中采用了7.68T SSD快速数据存储方案和18T大数据高密度硬盘存储方案。

总而言之,西部数据对于Web3.0或IPFS的基础架构:在存储集群中,有高密度磁盘扩展柜,大容量18T硬盘,UltrastarTM DC SN640 NVMe SSD作为缓存。在计算集群中,有UltrastarTM DC SN640 NVMe SSD、UltrastarTM DC SN840 NVMe SSD写密集型SSD产品,帮助用户进行快速计算。

特别是在计算集群方面,西部数据解决了P1和P2的性能瓶颈。刘刚说P1可以并行化,P2串行化。 IPFS服务商更愿意将P1和P2分离,但是由于P1和P2节点之间需要交换大量数据,虽然分离后可以提高计算性能,但会导致数据传输花费大量时间,这实际上并不划算。如果所有服务器集群共享一个高速闪存池,两种服务器通过NVMe-oF连接到高速闪存池,P1计算的数据在闪存池中,P2可以直接放入。它们可以像本地闪存一样访问高速闪存。资源共享池。对于大型IPFS分布式存储服务器厂商,当他们的节点达到100PB以上时,他们可能需要使用这些存储技术来优化存储技术架构。最后,刘刚还强调了西部数据引以为豪的优势,即拥有全线的多场景存储技术和产品,可以提供从芯片到系统的存储技术和产品,以及适用场景范围从消费级手机。 , 相机到个人电脑、自动驾驶汽车,到企业级和云计算和存储节点。在未来数据爆发式增长的环境下,这些优势将为包括企业客户、行业存储、普通用户个人存储在内的数据存储架构提供领先优势。

报告/反馈

IPFS变革数据未来!西部数据展示四层架构、三大优势

例如,与星辰天河、浪潮联合的解决方案部署了Ultrastar DC HC550 18TB HDD,与山燕数据合作的海量对象存储系统应用了Ultrastar DC SN840/SN640 NVMe SSD和大容量硬盘Ultrastar DC HC550 18TB HDD。超级云打造的异构产品组合集群采用Ultrastar DC HC550 18TB HDD和Ultrastar DC SN640 7.68TB NVMe SSD,结合Smart的存储方案配备Ultrastar DC HC550 18TB HDD和Ultrastar DC SN640 NVMe SSD。

微信
登录
用户名
密码
注册
用户名
密码
确认密码
昵称
邮箱
QQ
找回密码
用户名
邮箱
※ 重置链接将发送到邮箱