金融行业如何运用第五代存储为云环境下的交

北京荨麻疹医院在哪 http://m.39.net/pf/a_8833326.html
人工智能、物联网、5G等新兴技术的快速发展,以及多云环境下对基础架构的需求,为企业级存储重新设定了标准,提出“第五代存储”,将性能和效率提升到?个新的水平,并具有企业关键任务应用程序所需的各种高级功能和数据服务。未来企业级智能存储将采用端到端NVMeFlash架构,同时有效利用SCM(StorageClassMemory)优化存储系统的整体性能、降低延迟,存储系统软件堆栈将内嵌人工智能套件(内置机器学习引擎),做到智能运维?动化,对外将构建丰富的API生态,无缝连接多云环境。第五代存储的出现,也给企业IT架构师提出了新的挑战,特别是在进行存储规划、选型的过程中,架构师们需要更多的结合第五代存储考虑存储的定位、场景适应性、性能预估、可靠性、扩展能力、自动化、有效容量等方面的问题。

针对相关问题,社区组织“金融行业如何运用第五代存储为云环境下的交易业务提供灵活支持?”主题探讨,邀请金融行业专家交流,同时邀请DellEMC专家结合DellEMC新产品PowerStore进行分享。以下精选探讨内容,供大家参考。

1、第五代存储主要应用场景是什么?主要应用于云端环境,还是传统的SAN+数据库环境?李军华攀枝花市商业银行系统工程师:

第五代存储主要是智能全闪阵列,我们还是主要用在延迟要求敏感的环境,核心和重要应用系统。这个主要是考虑成本原因。不过未来存储阵列的闪存化是必然的趋势,实际闪存盘的故障率我们看到的比同时期的机械盘要低,特别是在环境相对差的机房,而且现在重删压缩的技术越来越成熟,如果都能够做到性能无损的压缩和重删,那么单位TB的成本也可以降下来。不过,目前各个厂家开启重删压缩后性能效果还是差异比较大,有些厂家宣传支持,但实际投产的时候并不建议打开,所以,招标选设备选型标准的制定还是很有难度的,比较让人头疼。

richardhandr戴尔科技金融行业解决方案中心系统工程师:

IDC报告中的第五代存储是一个标准,未来所有厂商的存储都会达到第五代,而第五代存储的标准是既可以使用于公有云、私有云、混合云,也可以适用于核心SAN环境,测试开发网络环境,也可以提供文件服务功能,而且自身可以提供更多的数据服务功能,敏捷高速、有效容量、无缝接云、数据护航、AI赋能。

、面对第五代存储的出现,为了更好驾驭新技术,运维工程师需要提前做哪些知识储备和技能提升?李军华攀枝花市商业银行系统工程师:

第五代存储是很好的概念,全闪架构、精简配置和数据压缩重删会极大的提升性能和设备使用效率,但是同时也会来带很多挑战,对于运维来说,我觉得主要是对监控技术和能力带来了很大的挑战。

这个主要体现在,性能提升后的性能基线如何确定,主要是长期的运行数据积累和分析来实现,前提也就是要有这个性能监控数据的积累。第二个,性能提升后如何判断性能的堵点。一个系统中有很多的设备和参数,从数据库、到OS、到底层硬件驱动、到交换机、到存储阵列,每个设备都有多个参数的适配,一个看似不经意的参数设置就可能带来性能堵点,要找到性能堵点,就要有全局化的监控手段,能够在一个时间坐标下去查看多个设备的性能和告警日志,经过反复我的观察和调优,才能够实现系统的最优化;第三个,精简配置和数据压缩重删会极大地提升存储的利用率,但是,实际物理空间、分配逻辑空间、实际数据量、数据精简后的实际空间占有量等多个变量也会让监控需要更加敏捷,因为所有的数据精尖技术都是与应用强相关的,不同的应用下来都需要经过一段时间的观察,同一应用的不同类型数据下来,也需要认真的观察,同时设置好告警的红线,如果实际物理空间T,超分到00T,综合压缩和重删的比例是4:1,那么到低能存多少数据?这个是需要反复研讨,认证设置告警边界的。好在DellEMC设备都有比较有好的RESTAPI接口,可以通过开源的Zabbix或者其他监控平台去实时监控,我们也是做了一些实践,效果不错。

richardhandr戴尔科技金融行业解决方案中心系统工程师:

第五代存储自身更具备智能,用户不需要太多的操心存储本身的性能调优。未来的运维工程师需要更快更便捷的帮助前端提供资源,同时减少大批量人为操作的一些可能问题,学习一下Absible之类的自动化运维工具,提升简单的编程能力是一个选项。另外Zabbix监控,了解存储的一些RESTAPI都可以考虑。

3、DellEMC第五代存储与分布式存储有什么异同?

PowerStore存储已经将存储架构由传统的集中式转变为分布式架构,请问第五代存储相比与EMC自身的分布式存储产品有哪些异同,未来两款产品如何定位?

李军华攀枝花市商业银行系统工程师:

我看PowerStore这个产品是增加了增加了横向扩展能力,但是并没有像Hadoop、isilon之类的做数据分片和跨节点的存放,严格说应该不是分布式存储。感觉像是Unity的横向扩展+NVMe的升级款。

richardhandr戴尔科技金融行业解决方案中心系统工程师:

PowerStore是以数据为中心而设计的企业级存储,更加适用于数据中心的企业级应用如Oracle、SQL、VMware,VDI,大数据平台等。而分布式存储,更加适用于数据处理上,比如流媒体,温冷数据的长期存放,两者有不同的使用场景。

4、第五代存储PowerStore主要针对云平台环境么?在传统的架构下,PowerStore相比较Unity有什么优势和不足?richardhandr戴尔科技金融行业解决方案中心系统工程师:

从IDC的描述看,第五代存储PowerStore并非只针对云平台,也适合企业关键业务。和Unity相比较,PowerStore设计之初就是全闪架构,性能出色,并且面向了未来,而Unity更多是混闪配置。

5、DellEMC第五代存储对国产云平台的支持如何?

PPT中提到EMC第五代存储产品对上层云平台主要支持Vmware及AWS,请问对国产云平台如阿里、腾讯、华为等支持如何?

richardhandr戴尔科技金融行业解决方案中心系统工程师:

只要云平台支持RESTfulapi,我们第五代存储提供最完整的RESTfulapi进行对接,并且可以提供编排资源调配、监控和报告的自动化。

6、在非云环境下,PowerStore比较适合金融行业的哪一类应用?richardhandr戴尔科技金融行业解决方案中心系统工程师:

PowerStore作为DellEMC企业级中高端产品,支持传统到现代数据库Oracle、SQL,和应用程序VMware,既支持SAN存储,也支持文件存储。

适合客户的核心数据系统,比如券商的核心交易、极速交易等,还有保险的公司核心系统、银行的互联网平台,以及开发测试平台,还有虚拟桌面平台。

支持AppsON的PowerStore设备也是以往部署在三层体系结构上的基础架构应用程序或数据密集型工作负载的理想候选对象。一些示例包括但不限于SQLServer、Splunk、Hadoop和MongoDB。

案例现在涵盖保险、证券、银行、运营商、互联网公司等。

7、中小型城商行体量下,PowerStore对标传统纯闪、混闪,以及分布式存储的优劣势是什么?有哪些适用场景?

李军华攀枝花市商业银行系统工程师:

优势厂家宣传的就是NVMeSSD、SCM的支持,控制器可以跑VMware,这一点放在容灾机房直接把验证服务器部署在控制器上,然后定期拉起验证,倒是省了很多设备和空间。

不过我觉得,最大的优势还是这家的路线图相对靠谱,而且全球最大的存储厂家,应该不会轻易放弃存储市场吧,起码未来七八年这个产品还在,有些用到几年产品线没了,bug没人修了,那是最悲催的....

richardhandr戴尔科技金融行业解决方案中心系统工程师:

可以用于VDI,测试开发平台,T+0的数据分析平台,Hadoop大数据平台,互联网金融平台都可以使用。

PowerStore作为第五代存储的旗舰产品之一,是以数据为核心的智能存储,将最新的SCM和NVMESSD完美集成的解决方案,性能已经不再是瓶颈。

PowerStore拥有两种模式,用户使用T模式,可以以传统方式进行部署,部署在传统的主机环境中。如果以X模式进行部署的话,可以完美的集成新兴应用平台,自身采用AppsON技术,可以加速应用部署及上线的时间,缩短开发周期。

另外,基于第五代存储最大优势——有效容量,DellEMC提供4:1的有效容量承诺,如果最终客户使用过程中无法达到4:1压缩消重率,DellEMC可以根据容量无忧计划直接补足容量达到4:1。并且DellEMC的容量缩减技术是完全在线,并且无性能损耗的技术。

8、有效容量4:1是怎么得出的?richardhandr戴尔科技金融行业解决方案中心系统工程师:

压缩和去重都是在线的,数据库本身没有开启压缩,不是音频视频文件,除去这些特殊的情况,一般的应用场景下都可以达到,可以从界面里面直观的看到实际的数据缩减比。

9、端到端NVMe架构技术的实现路径是什么?如何做到服务器和存储之间的端到端NVMe?

不仅仅是PowerStore,多款存储产品宣传支持端到端NVMe架构,但端到端NVMe架构技术的实现路径是什么?要做到服务器和存储之间的端到端NVMe,目前在技术上的难点是什么?

李军华攀枝花市商业银行系统工程师:

我们也在跟进和了解NVMe技术的进展,看到大部分3Gb的HBA卡、3Gb的光纤交换机和3Gb的存储阵列都会支持NVMe技术,大部分是通过升级代码实现的。当前的主要问题是在不更新应用的情况下,很难大规模升级底层应用和驱动,特别是小机涉及到OS版本、驱动版本和多路径版本的问题,相对而言在新建系统中相对比较简单。

NVMe的另外一个拦路虎是价格,好钢用在刀刃上,确定好哪个是刀刃很关键。

richardhandr戴尔科技金融行业解决方案中心系统工程师:

实现路径包括:主机配置了支持NVMe的网卡(FC或者IP),支持NVMe技术的交换机(FC或者IP),还有内外部都有NVMe连接的存储系统。目前的难点主要在于生态,除了刚刚说的这些,还有协议标准,操作系统支持等等,是一个大的体系。

10、NVMe和scm加速细节?

有关endtoend的NVMe加速这块对比传统scsi协议性能提升幅度是多少?特别是并发压力下的存储时延能降低多少?scm的加入对读写时延改善幅度能有多少?scm主要是针对写io还是读io加速明显?在命中率低的场景中scm还有用吗?

richardhandr戴尔科技金融行业解决方案中心系统工程师:

单独看盘的话,NVMeSSD比SASSSD写入带宽提升%,延迟降低5%。NVMeSCM延迟又比NVMeSSD降低了5%,这样和SASSSD比,整体延迟降低了50%。SCM对于金融行业高性能OLTP,交易延迟敏感,较高ReadMiss的场景尤其适用。这些场景包括银行的核心系统,保险的新契约系统,证券的核心和两融系统,以及风控的实时欺诈监测系统。

11、NVMeFlash的可靠性问题?

NVMeFlash目前在笔记本,台式机中用的较多,性能也很高。但在企业级应用上还不常见,不知道在专业存储上NVMeFlash是否针对数据可靠性做出相应的优化?

李军华攀枝花市商业银行系统工程师:

其实NVMe只是一种接口协议,这种协议去掉了传统SCSI协议的束缚,更加适合多并发和内存数据访问,所以访问效率更高。从颗粒来说,闪存就是两种,一种是基于热磁阻效应的SCM,Intel和镁光联合开发的,一种是晶体管,也就是著名华人科学家费敏发明的晶体管,也就是传统说的SSD,根据不同的晶体管制造和利用方式,又分为了SLC、MLC、TLC。三种最大的差别就是价格,TLC是最便宜的,大量应用。衡量颗粒耐写度的指标是DWPD,五年时间,每天写满磁盘多少次可以把颗粒写废掉。正常的目前大部分存储阵列的DWPD是1,桌面级的有小于1的。保证数据可靠,从闪存盘内部说,1、磁盘内部芯片是有ECC校验的,错误数位会被校正;、每个闪存盘内都是有冗余颗粒的,企业级的冗余颗粒一般在0%左右,失效的颗粒会被屏蔽,桌面级会低很多;3、为了防止颗粒的损耗不均衡,磁盘内部有写均衡算法,简单说就是不会只在一只羊上薅羊毛。从存储角度,多个SSD之间会有RAID保护,有些是采用多副本或者纠删码之类的,都是防止一个硬盘故障导致数据丢失。然后为了减少写数据对颗粒的损耗,专业的存储控制器都是有写缓存的,很多产品都做了写压缩,减少重复的写。

1、PowerStore的压缩和重删技术有什么不同之处?开启是否会导致性能降低?

现在全闪阵列很多厂家都在说数据压缩和重删技术,PowerStore的压缩和重删技术有什么不同之处?开启是否会导致性能降低?

richardhandr戴尔科技金融行业解决方案中心系统工程师:

不会有任何影响,采用英特尔QuickAssist技术(Lewisburg芯片)的硬件加速允许PowerStore的高级内联压缩保持“始终开启”,可实现更一致的存储效率,而不会影响性能或其他服务。内联重复数据消除也“始终开启”。

由于采用英特尔QuickAssist硬件加速技术,重复数据消除和压缩可实现%内联和“始终在线”。PowerStore系统可确保实现平均4:1的数据减少率,而不会影响性能。

可确保客户应用程序中的平均数据减少率达到4:1,各应用程序的比率可能有所不同。有关详细信息,请参阅未来无忧计划条款和条件。

13、PowerStore在低延时,高扩展和多活的业务特点下,怎么保证整个存储数据读写的一致性?richardhandr戴尔科技金融行业解决方案中心系统工程师:

任务关键型可用性和容错一体机,可以利用现代、简化的数据集成方法,管理作为宝贵战略资产的数据。在硬件级别,PowerStore旨在具备高可用性和容错能力。它通过高级RAID保护技术监控存储,从而快速重建故障驱动器中的数据,以避免数据丢失。随着数据的不断增长,大数据已成为预测性分析领域的重要组成部分。PowerStore的始终在线内联数据减少功能可显著减少实际所用的存储,但仍保持预期的应用程序数据可用性和保护。

专为提高性能和简化管理而设计的现代分析解决方案,DellEMCPowerStore是一种新型存储一体机,采用英特尔傲腾存储级内存(SCM)等现代技术,可满足数据收集的高性能需求,并可在边缘进行处理以实现下一代分析。分析数据不断动态变化,并且组织需要快速跟上节奏,这也需要构建一个易于管理的存储平台。PowerStore提供了一个微服务管理解决方案,它具有交付和集成高级管理功能的独特能力。这种模块性可加快下一代分析的上市步伐,并具有极大的部署灵活性。这种以数据为中心且适应性强的智能基础架构支持各种数据要求,可以整合分析数据,同时可简化IT管理和运营。PowerStore可扩展应用程序和数据且易于管理,极大地补充了分析应用程序的纵向扩展和横向扩展部署模型。

14、除了传统的与VMware和K8S的vvole和API接口之外,PowerStore还会提供什么融合方式吗?richardhandr戴尔科技金融行业解决方案中心系统工程师:

PowerStore的微服务和基于容器的软件体系结构可实现功能便携性、标准化和快速上市,并具有出色的部署灵活性。同样,Microsoft对基于Linux的容器化部署模型进行了大量投资。对于MicrosoftSQLServer等有状态的应用程序,需要一个基于插件程序的解决方案来支持Kubernetes。DellEMC针对PowerStore和所有其他受支持平台提供的CSI(容器存储接口)插件程序信息可在GitHub.

转载请注明:http://www.aliggmm.com/ssgc/10680.html

网站简介| 发布优势| 服务条款| 隐私保护| 广告合作| 网站地图| 版权申明

当前时间: