
方案网络图
云存储具有完整的基本功能。
集群管理功能:使用三台服务器,部署管理服务器集群,通过唯一虚拟IP访问云存储管理页面,登录管理界面,查看云存储运行状态等基本信息。经验证,管理服务器集群的部署是成功的,能够支持统一的命名空间,提供具有唯一虚拟IP的业务服务。
文章、图片、文件的功能:验证文章、图片、文件可以通过文章流直存成功写入云存储,写入的文件无需平台流服务器转发即可下载。
智能断网、录像补充功能:前端IPC、DVR、NVR本地文章正常。拔掉IPC、DVR和NVR网线,2分钟后再插上,以便检查丢失的文章和录制补充的完整性。验证智能网络中断和补充记录功能。
历史流补充功能:前端IPC的SD卡有历史记录,配置的历史流补充计划到云存储。检查历史文章是否已经写入云存储,播放是否正常。经验证,该系统能够支持历史流补充。
文章回放功能:登录管理平台客户端,任意查询一段文章,回放(任意时间,2、4、8倍速,逆序,I帧连续性,指定定位时间等。).经验证,该系统能够对云存储中的文章进行精确、倍速、逆序、I帧和定位回放。
智能负载均衡功能:最大接入次数减少的设备实际接入次数也减少。设备出现故障后,录像点自动平衡到其他设备。验证了云存储可以根据设备硬件、性能、容量、IO、网络等的差异进行智能负载均衡。
周期覆盖功能:周期为1天的资源池在第二天触发周期覆盖,前一天的文章、图片、文件都被覆盖,无法查询提取前一天的文章、图片和文件数据;容量覆盖被触发后,之前的文章、图片和文件被覆盖,资源池中的可用空间增加,新的文章、图片和文件可以继续写入。验证了云存储能够支持周期和容量覆盖。
以及硬盘在线扩展功能:添加硬盘后,云存储集群的总空间增加;新设备加入后,增加了集群的容量,集群可以自动平衡负载,新设备有业务写入,可以在线添加硬盘和设备。
多云互联管理功能:互联中心增加两朵云,可以查看两朵云的信息;云A出现故障后,云A上的所有计划都切换到云B上执行,查询文章正常;云A恢复后,云B上的云A计划自动切换回云A,支持多个云之间的互联管理。
运维管理功能:云存储运维可以监控云存储所有软硬件的运行情况;异常触发后,运维系统可以通过多种方式进行告警和统计运维信息。
出色的可靠性测试性能
磁盘漫游功能:磁盘在任意设备间切换,云存储的集群空间不变;通过平台观看时,文章不会丢失。经验证,该系统支持磁盘漫游,可以插入或替换云中的任何磁盘,对数据没有任何影响。
硬盘故障测试:云中资源池的数据冗余类型为4 ^ 2。从任意两个设备中拔出一个硬盘都不会影响录像业务。将原始磁盘插回,并在几秒钟内恢复;当插入新盘时,将触发重建,并恢复高速重建。经验证,系统支持多盘故障,读写业务不中断,历史文章不丢失。插入原始磁盘后,它会恢复I
读写功能降级:只剩下一个存储节点离线,历史文章可以回放,但画面有跳帧,新写入的文章可以正常回放。经验证,当系统节点故障数超过上限时,系统可以读写文件。
高可用功能:任何一台元数据服务器出现故障(拔掉网线),文章都能正常读写,历史文章不会丢失。两台元数据服务器故障(拔掉网线),文章只能写入,查询回放受影响,历史文章不丢失。服务器所有元数据失效(拔掉网线),文章只能写入,查询和回放受影响,历史文章不丢失。所有元数据服务器恢复后,文章查询、播放、下载正常,历史文章不丢失。当验证系统支持元数据服务器部分和全部故障时,云存储的文章数据不会丢失。
性能优越
文章下载性能:使用客户端工具下载任何前端文章。文章文件下载成功,下载速度不低于80mb/s,下载5GB文件需要62S,平均速度82MB/s。
镜像下载性能:通过客户端工具下载镜像,镜像下载成功。从云存储下载10000张300K的图片需要14秒,平均每秒714张。
云存储系统海康威视结合对象存储技术和分布式EC技术,为存储和管理大容量文章数据,满足文章监控领域的应用需求而设计的云存储系统。该系统采用软硬件一体化设计,将云存储技术与安防行业智能应用和大数据技术深度融合,提供专业、灵活、智能、可靠的云存储服务。
该云存储系统可用于同时访问文章、图片和文件的混合流进行直接存储,并承担整个系统中文章/图片的数据写入/读取。一方面,系统采用了基于云架构的分布式集群设计和虚拟化设计,实现了多台设备的协同工作,系统内性能和资源的虚拟整合,充分利用了硬件资源和存储空间。另一方面,通过封装存储功能和管理功能,通过开放透明的应用接口和简单易用的管理接口,与上层应用平台集成后,为整个安防监控系统提供高效可靠的数据存储服务。
云存储系统应用架构图
海康威视文章云存储的存储系统由存储管理服务器(存储管理节点CVMN)和存储设备(存储节点CVSN)组成。在硬件架构上,根据节点的功能需求集成了文章云存储软件模块的功能,主要包括文章云存储应用软件模块和对象存储软件模块。
文章云存储管理节点:CVMN(Cloud Video Manage Node)(也称为元数据服务器),主要功能包括资源管理、存储节点管理、集群管理、策略调度、运维监控等。
管理节点集群部署模式适用于较大的文章云存储系统,可以配备三个或更多。部署的好处是文章云存储管理节点内的集群功能协调各节点的设备资源,用户配置、数据库信息、战略规划统一调度,整体性能呈线性增长。同时也增加了系统的可靠性,多个设备的故障不会影响系统的运行。
文章云存储存储节点:CVSN(云文章存储节点)(存储设备)是一组专有的存储设备,具有容量调配、数据读写、业务应用集成等功能。主要响应文章存储管理节点(CVMN)和应用层的应用进行录制、查询和下载,管理物理存储设备和空间。
文章存储节点模块具有以下功能:负责接收云存储管理节点下发的文章录制计划,并根据文章录制计划从相应的前端摄像机获取码流。对w负责
在存储底层,流文件系统整合硬件资源,采用分布式EC技术保证数据安全,为业务功能完成数据存储提供容量空间。
系统特征
系统扩展设计
1系统横向扩展海康的云存储系统支持在线水平扩展,在线业务继续运行时,可以在不影响现有业务运行的情况下,动态增加或减少云存储系统的容量。在云存储系统正常运行的情况下,可以在线动态添加和删除存储节点。存储节点的容量可以划分到现有的资源池中,也可以根据需要独立创建资源集合,业务层只展示存储容量的增加和删除。
新增存储节点时,配置节点的网络地址,即可加入系统,实现一键扩展、快速部署。该系统可以统一管理不同型号和不同存储磁盘位置的数据节点。该系统具有线性扩展的特点。当容量增加时,整体读写性能也同步提升。同时,系统容量和每个桶容量的扩展可以快速生效,自动数据迁移保持容量利用率均衡。
2高速数据恢复海康的云存储系统采用ErasureCode算法的N M可靠性机制。在设计系统规模时,条带中的块数据被分散到不同的设备上进行存储,所以系统中的一些硬盘或设备只会丢失一些块数据。
由于系统使用的纠删码算法所需的块数据分散在不同的设备和硬盘中,当启动数据恢复算法时,可以利用多个设备的性能非常迅速地恢复故障硬盘或设备中的数据,从而保证用户数据不丢失,读取业务不中断,降低了硬件故障和网络异常造成数据丢失的风险,提供了高可靠的数据保障机制。目前云存储系统支持最大N 4级数据保障。
3智能数据重构海康文章云存储系统采用分布式EC算法,相比传统RAID技术,大大提高了数据恢复和重构的速度。高效的数据恢复速度为安全数据存储业务中快速、不间断的数据访问提供了有利的支持。
同时,海康威视文章云存储系统结合安防行业特点,深入了解安防行业数据应用场景,结合纠删码数据重构速度快的特点,根据安防数据的重要程度实现分层重构。即可以定义数据优先级,在大范围设备损坏时,保证高等级数据的优先重建,从而更加快速智能地保证用户数据的实时应用。
海康威视推出的这套专业云存储系统非常适合安防行业的应用。它可以减轻负担的安全监控平台,精简和优化了安全存储架构,并拥有强大而良好的用户体验。
社会观点
大量的高清文章监控产生了庞大的文章数据流。在传统安全数据采集、传输、存储和处理的整个过程中,存储和处理占据了80%左右的服务器资源。为了存储和管理大容量文章数据,满足安防文章监控领域的应用需求,海康威视设计了一套专业级海量数据云存储系统。
01
系统采用高可靠性、高稳定性的集群部署模式,可实现单个或多个节点的故障转移和实时动态负载均衡控制,提高资源利用率,减轻设备压力,单个/多个节点故障时数据不会丢失,数据采集、传输、存储和处理的安全性高。支持统一命名空间,以唯一的业务虚拟IP地址对外提供服务,简化用户访问和申请流程。
02
系统采用流媒体直接存储技术,具有文章、图片、文件的存储、预览、检索、压缩、回放、下载、备份、补录等完整功能。前端访问协议是标准和开放的,具有st
该系统具有三个优点:高扩展性、自动化操作和维护、节约成本。可以无限扩展存储容量,全方位自动监控云存储系统中的大量软硬件,自动采集软硬件运行数据,为用户提供实时体检、在线故障报警、实时故障排查、运维数据统计分析报告等服务。使用云存储后,用户不会不必担心设备升级、数据迁移、设备维护等。可以节省很多开支。
04
海康的云存储服务非常适合公安、交通、司法、政府、金融、办公园区、文教等文章、图片等大数据流的行业。与此同时,海康威视仍在加大研发力度;d投资结合文章云存储、数据结构和智能处理的产品,开发更适合各类大中小用户、软硬件结合的即插即用云存储产品。并在进一步降低用户成本,正确把握各种用户需求,追求更好的用户体验上做领跑者。
程序功能
01
该解决方案是海康威视视为满足安防大数据EB级增长的专业、灵活、智能、安全、可靠的云存储服务,采用软硬件一体化设计,将云存储技术与安防行业智能应用和大数据技术深度融合。
02
该方案前端支持文章、图片和文件统一混合存储,文章和图片采用流媒体直接存储技术。存储方面,支持24、36、48等多种磁盘存储设备,支持元数据服务器集群部署模式。支持符合标准协议(GB28281/ONVIF/PSIA/RTSP/SIP流媒体协议)的第三方设备的接入,并提供开放标准的接入协议。支持用户使用SDK、HTTP,兼容亚马逊S3协议等。连接海康的七大行业平台,提供云存储服务。
03
该方案采用了具有自主知识产权的独特流式数据结构存储技术,消除了文件系统的瓶颈,满足了文章大数据的连续写入,大大提高了存储效率。采用设备集群运行技术,激活存储潜力,全面提升动态负载均衡能力。采用分布式数据存储技术,可并发提取,数据下载速度快。系统以集群方式提供唯一的IP接口作为访问地址,实现存储应用。它是一个专业的安全云存储系统,从应用的角度优化存储。
04
该方案采用写权限认证和通信协议加密等技术实现信息传输安全,采用EC纠删码的网络RAID实现数据存储安全。可以实现节点间的数据冗余保护,支持多N M冗余容错机制,系统可以容忍多个设备和多个硬盘同时损坏而不丢失数据。系统不存在单点故障,多触点故障时系统会自动切换,业务不会中断,保证了数据的完整性、安全性、稳定性和可靠性。
05
该方案采用独立的运维平台,对文章云存储的硬件、软件、系统三大模块中的各类信息进行收集、上报统计和管理,如系统压力、使用空间、硬件节点、监控点等。实时检查系统设备和资源的服务状态,针对多云天气实施统一的设备和门禁权限管理。当云存储系统软硬件运行异常时,运维系统经过统计分析后可以通过各种方式触发报警,并通过显示、短信、语音、邮件等方式发送报警信息。便于实时监控云存储的运行情况。大大降低了运维人员对文章云存储系统的维护难度。并支持与标准SNMP协议对接。









