
随着宽带有线和无线网络基础设施的完善和全球安防市场需求的增长,文章监控的应用呈爆炸式增长。文章监控系统的发展趋势非常明显。数字化、网络化之后,下一个重要的趋势是智能化,即智能监控和文章分析技术的应用,从而实现智能文章监控。
传统的文章监控使用人工文章监控来发现潜在的安全隐患或异常状态,或者用于事后分析。这种应用有其固有的缺点,难以实现实时的安全监控和检测管理。具有智能分析功能的监控系统,通过区分被监控对象的形状、动作等特征,主动采集和分析数据,并根据预设条件进行报警、记录、分析等动作。智能监控系统可以运行在服务器上,也可以运行在基于DSP的嵌入式系统上,后者逐渐成为主流。
智能文章的应用可以分为三个方面:安防、人体行为检测和智能交通。其中,安全应用被广泛认为是最具潜力的市场,它包括以下几类应用:入侵检测,可以自动检测文章图像中的运动行为特征;物品移除检测,可自动检测物品移除事件——,当防区内特定位置的物品被拿走或移走时报警;遗弃物品检测,可以自动检测遗弃物品。——当物体被放置或遗弃在某个防区时,它会自动报警;智能跟踪使相机能够驱动自己的平移/倾斜和变焦镜头独立由PTZ。人体行为检测的应用有脱岗检测(可以自动检测哨兵人员的位置)和徘徊检测(可以检测重要区域的人体徘徊)。智能交通应用包括:检测非法停放的车辆,当车辆非法停留在防区内时发出警报;车辆逆行检测,及时识别逆行车辆。
随着准确性和可靠性的逐步提高以及产品成本的下降,智能文章在越来越多的场合得到应用,可以替代部分安防设备,降低安防人员的工作强度,提高工作效率,降低管理成本。其实智能文章的应用潜力很大。随着技术的成熟,智能文章技术的应用领域正在迅速扩大。这些应用主要包括上述的安防、交通、零售、服务行业,如人口统计、人脸识别、人群控制、注意力控制、交通流量控制等。
对实时文章监控的需求正在快速增长,尤其是对实时安全监控应用的需求不断增加。实时检测目标的安全风险或异常行为的功能变得越来越重要。在这种日益增长的需求驱动下,智能文章监控系统产品正在成为文章监控应用的新热点。特别是随着半导体技术的进步,如以Blackfin convergent处理器为代表的先进嵌入式解决方案平台的推出,高性价比、高实用性的智能文章分析设备不断推出,并在一些关键应用中发挥着极其重要的作用。
图1:传统文章监控应用示意图
智能文章监控的设计策略
硬件平台方案的选择往往决定了整体方案的成本、性能、开发工具和方法的可用性,以及方案未来不断升级的可行性,因此方案平台的选择非常重要。智能文章应用的独特性要求在硬件平台的选择上综合权衡。文章监控系统的网络化和智能分析的需求,以及大规模工程安装对成本、体积和功耗的限制,非标准化的智能文章分析方法和近乎定制的方案优化方法,使得融合了MCU和DSP优势的融合处理器方案平台在软件设计灵活性和强大的处理能力方面具有更加明显的优势
1.1系统概述
随着经济的发展和城市建设的加快,城市人口密度和流动人口增加,引发了城市建设中的交通、社会治安、重点地区防范等诸多城市管理问题。但公安警力的增加远远不能满足实际需求。为了严厉打击各类经济犯罪,保护国家和人民的生命财产安全,保障各行各业和社会各部门的正常运转,利用高科技手段预防和制止各类犯罪已成为安全防范的发展方向。文章监控作为一种重要的技术防范手段,已经得到了广泛的应用。
平安城市文章监控系统主要利用文章处理技术和传输技术,对大型聚集场所、治安复杂区域和重要单位的治安动态进行实时监控,及时发现违法犯罪活动,利用监控文章数据核实犯罪线索,实时掌握大型活动和群体性突发事件的现场动态,实现监控图像信息等信息的综合应用,为提高公安机关对社会治安形势的掌控能力服务。最终,城镇社会治安突出问题基本解决,治安环境明显改善,人民群众安全感不断增强。
1.2系统组成
平安城市高清智能文章监控系统主要涉及音文章的采集、传输、存储、管理和共享。整个解决方案可分为前端监控资源采集、监控资源接入、网络化集中管理平台、图像资源存储和图像资源共享平台建设。前端文章采集主要包括:道路入口、红街路口、酒店、娱乐场所、网吧、市区街道、派出所拘留室、其他公共区域。在这些重点区域安装数百万台高清网络摄像机,实施高清现场监控、抓拍和智能分析。从而使相关管理部门能够全面掌握现场细节,为监控人员或后端智能分析系统提供高质量的画面,在完成传统事后分析功能的同时,逐步实现预警提示。每个区域内置前端高清监控子系统,完成每个区域的详细记录和监控。同时,通过文章光纤专网将各子系统统一纳入专网,实现大规模集中式城市高清文章监控,实现统一调度和资源共享,提高相关执法部门的工作效率。在文章监控的同时,指挥中心可以同时向多个前端喊话(广而告之),为求助人员提供语音帮助,震慑犯罪分子作案,实现可视控制,为城市的和谐繁荣构建高清文章安防监控网络。
系统架构图系统多级互连拓扑图
1.2.1社会保障监测
政府机关、金融行政机构门口、人口密集场所、交通要道、环境复杂场所(广场、影剧院、娱乐场所、车站、宾馆、公园等。)、城市道路等场所,在指定路口使用高清摄像枪进行监控,在移动点使用高清网络球机进行大范围监控,让公安监控人员更加及时准确地发现和跟踪警情,提高反应速度。
传输网络采用“有线为主,无线为辅”的建设模式,以成本控制和接入质量为重点,以点对点、网络可管理的接入方式为主要思路。有线方式采用自建光纤接入或租用线路接入;无线接入采用3G或WIFI。
监控中心由管理服务器、流媒体服务器、存储服务器、智能分析服务器、客户端、高清解码矩阵、大屏幕电视墙等组成。可以在统一的操作平台和统一的界面下实现多路监控前端的监控功能。
1.2.2网络文章
在治安复杂地区、重要路口、广场、小区等治安监控场所。在安装网络摄像机进行文章监控的基础上,安装拾音器、IP网络广播、喇叭、紧急求助按钮和报警探头等音频设备,通过网络广播终端将上述信号通过监控专网传输到公安局指挥中心,并在指挥中心配置网络麦克风和扬声器,实现音文章报警联动功能。也就是说,指挥中心可以在文章监控的同时,同时向一个或多个前端喊话(广播),向求助人员提供语音帮助,震慑犯罪分子,从而降低犯罪率。
高清卡口
通过在省内、城际、城市主干道、交通要道、主要出入口等安装高清安防卡口系统。可对所有过往车辆进行抓拍,获取车辆图像,并实时自动识别车牌字符,记录车辆经过的时间、地点、车牌号、行驶方向等数据,全部导入网络传输子系统,传输至中心管理平台。平台可将前端上传的图片与黑名单数据库实时比对,发现被控制车辆后通过软件界面、声音、短信等方式报警;系统可以根据车牌、位置、车道、时间等信息进行单条件查询、组合查询和模糊查询。系统可以按照日、周、月、年的时间段统计不同点位、不同设备的车辆信息,并以报表、图形、条形图等多种直观方式显示。
1.2.4高清电子警察
140万/200万/500万CCD高清一体化摄像机作为采集主体,单个摄像机在一个方向覆盖一到三个车道;同步支持闪光灯和LED夜间补光灯。通过对文章的智能分析,系统可以判断车辆闯红灯、右/左转、逆向行驶、压线、越线、违反禁行等违法行为,可以自动检测并抓拍机动车连续三次违反交通安全法的违法画面。违章照片能清晰反映“红灯、停车线、车型、车牌、时间、地点”等违章车辆的基本情况。该系统将人、路、车有机结合,充分应用闯红灯记录系统,使交通监控真正“智能化”,大大提高交通管理效率,保障交通安全。
1.2.5获得社会资源
为加强对重要治安复杂场所的监控,加强对治安重点单位和公安部内设单位的管理,提高公安机关发现、控制、制止和打击各类违法犯罪行为的能力,提高全市社会治安整体防范水平,需要将大量社会资源监控系统有机整合,实现统一管理和资源共享。社会资源监控包括:重要交通路口、路段;峰会机关、重点部位、公共综合体、人员聚集场所;网吧和娱乐场所;宾馆、酒店;储存、使用民用爆炸物品的单位;内部保险股;住宅区;公安基层单位;公安监狱;特种车辆的GPS监控。
1.3系统特征
先进的架构:采用分布式网络架构,实现分布式部署和分布式控制,充分整合现有监控资源和各种离散系统。
高清监控:采用百万像素摄像头进行高清监控,画质清晰逼真,分辨率为1080P和720P,支持实时双码流,远程浏览和本地存储无交互。
流媒体转发:具有流媒体功能,可以响应用户对文章实时文章和文章文件的请求,转发文章流,最有效地利用网络带宽资源。
报警联动:当前端安装的红外探头和紧急按钮报警时,本地报警器将实时报警并记录,管理中心平台将l
实时监控功能:动态观察社会治安、交通管理监控点的实时文章图像,结合GIS电子地图的应用,直接在电子地图上标注监控摄像头的实际地理位置,实现监控图像与GIS电子地图的联动,方便各级领导查看指导。
可视可控功能:背景音乐功能平时可以通过网络广播系统实现。当报警发生时,可自动触发图像复检或声音复检设备,以预设方式复检报警,值班人员可向前端喊话或通过强制切换操作进行双向语音对讲。
刑侦辅助功能:有效震慑各类违法犯罪活动,为案件提供侦查线索和高清文章。
智能交通功能:实现多级车辆控制、智能车牌分析识别、违法信息处理、交通分析、分类查询、数据统计、报表输出等功能。
统一调度功能:实现系统设备和用户的统一管理、身份认证、权限分配、配置和分配。
网管系统的功能:巡视社保、交管监控点前端设备的运行情况,提供高温或低温、图像丢失、设备断电、设备断线等报警,方便系统故障排查。
智能监控功能:对重点区域补充智能分析功能,实现预警。该系统具有越线检测、进入区域检测、违法停车检测、遗留物品检测、游荡检测、人群聚集检测、打架检测等功能。
有关文章监控相关解决方案和电路设计的更多信息,您可以关注电子爱好者制作的week专栏设计:
华为智能文章监控系统设计解决方案
1.中小型文章监控概述
近年来,随着经济的快速增长和社会的进步,校园、工厂园区、中小企业、楼宇等领域对安全防范和现场记录报警系统的需求越来越大,文章监控已经广泛应用于工作和生活的各个方面。然而,传统的中小型文章监控系统有很大的局限性:
模拟:设备投资大,施工布线难度高,传输距离有限,扩展困难。清晰度低:由于信号衰减和干扰,监控图像模糊。
存储消耗大:模拟文章是未压缩的或者压缩率比较低,所以存储消耗大。性能低:分发性能和录像性能低,需要配置更多的服务器和存储设备。
可靠性低:系统关键部件缺乏可靠性设计,系统容易出现故障。
华为致力于提供高清、高可靠、高性能、可管理的中小型文章监控系统,依托其对IP、网络、存储等技术的深刻理解,积极了解中小型企业客户的需求。
2.华为SmartNVR智能文章监控平台
针对传统监控系统的局限性,华为推出新一代数字化、智能化、网络化文章监控系统SmartNVR系列,以数字文章编码压缩技术为核心,以数字网络和数字存储为载体,以实时监控、文章录制、文章回放、监控中心、电视墙为主要业务,集报警检测、报警联动、报警预防、智能分析为一体。
全在一个解决方案中
华为SmartNVR提供一体化设计理念,SmartNVR 100采用纯软件设计,SmartNVR 3000将平台软件与存储设备集成,形成一体化解决方案,帮助客户实现快速安装和部署,同时提供简单方便的使用和维护方法。
统一管理能力
完善的管理模式。y提供自动部署、远程维护、统计报表、告警管理等功能,真正做到“安装简单、部署简单、使用简单、维护简单”。全面的硬件监控功能。y专用管理模块提供智能硬件
支持RAID5功能,确保高磁盘利用率,提供高可靠的存储环境。提供10个可热插拔的3.5英寸SATA文章存储硬盘,容量2TB。使用RAID5创建磁盘阵列后,系统存储容量可高达16TB,可满足100台D1分辨率(2Mbps)摄像机7天的存储需求。
智能服务集成(SmartNVR 3000)
智能分析系统采用文章处理、行为识别等先进技术,自动分析监控文章信号,降低使用成本,提高监控效率和准确性。华为智能文章监控系统提供统一接口,方便集成各种智能分析模块,如入侵检测、跳闸检测、遗留物检测、移除检测、路径检测、突然出现检测、突然加速检测等。
节能环保,降低总拥有成本(SmartNVR 3000)
支持降频功能,在处理器低负载下主动降低工作频率,降低计算能耗。
采用优化散热设计,根据热关键器件温度综合调节风扇转速,节能降噪,提高风扇可靠性。
支持实时系统功耗监控,系统实施全面节能策略,每年为用户节省数万元能源费用。
3.典型网络
4.典型应用场景
校园监控应用需求:
规模:几十到几十路等。
价格敏感,要求性价比高。
重点监控区域是大门、围栏、教室和走道。
需要与报警、红外对射、扬声器等功能联动。
典型网络:
建筑监控应用要求:
规模:几十到几百路;
重点监控区域为入口、电梯、走道、地下车库等。
需要与红外报警、烟雾报警、门禁和扬声器系统联动。
典型网络:
社区监控应用要求:
规模:几十到几十路等。
重点监控区域为道路、围栏、花园、车库、门口、电梯等重点保护区域;
如果用户想在家里安装文章监控,可以通过VPN专网和严格的权限控制,实现特定用户的远程浏览。
典型网络:
工厂监控应用要求:
规模:几十到几十路等。
重点监控区域为工厂、车间、围墙、花园、车库、门、电梯等重点保护区域;
需要与烟雾报警、红外对射、门禁、扬声器联动。
典型网络:
联想家庭无线文章监控解决方案
随着经济的快速发展,人们收入的不断提高,对居住房屋舒适度的要求也提升到了一个更高的层次,但这种高贵奢华的住宅小区确实成为了盗窃、抢劫等犯罪分子的目标。通过无线文章监控——“管家”可以帮助你做好安全防盗工作,解决安全问题,有效打击入室盗窃,保护主人房间内的人身和财产安全。
随着人们生活节奏的提高,他们照顾家庭的时间越来越少。无线文章监控——“看家宝”可以帮助你随时随地关注家中老人、小孩、行动不便者的情况,对一些紧急突发情况做出最快的处理。
家庭无线文章监控系统——阚家堡是远程目标和监控点监控管理系统的重要组成部分,是一个高科技的智能集成系统。它可以通过摄像机或其辅助设备(镜头、云台等)直接观看监控现场的所有情况。),解决了传统网络无法实现布线,必须远程监控的问题。该系统广泛应用于:家庭安防、防盗、智能家居等。在发生盗窃或火灾的情况下,该系统可以将实时实况文章传输到您的计算机上。录像可以帮助有关部门更快破案,也可以作为犯罪分子定案的证据。
系统结构:
该系统由四部分组成:
1.现场文章采集终端(内务)
2.文章传输网络(互联网)
3.文章转发服务器
4.远程计算机终端。
采集结束:
前端监控设备可以根据室内外环境的不同选择不同的设备:室内可以直接采用室内wifi监控产品W610、 W611、 W612-阚家宝,或者选择G610室内3G监控技术产品——千里眼。看佳宝的千里眼镜头可以选择(镜头的作用主要是
连接形式为无线,看家宝可以固定在墙上,也可以放在柜子上,可以随时换位。对于户外型,可以选择户外防水产品,也可以选择太阳能供电的W510 wifi监控产品户外摄像头。
文章传输网络:
传输可以通过无线和有线两种方式进行。有线方式是:家庭有线接入互联网(如ADSL/以太网/专线等。),监控产品通过路由器的无线wifi信号接入互联网,充分利用了互联网经济便捷的特点。3G无线模式通过中国联通、中国网通和中国移动的3G网络实现。
文章转发服务器:
VM100文章转发服务器是新一代网络文章综合监控中心平台,是集WEB服务、管理、认证、数据库、存储、转发、回放等六大功能模块于一体的监控平台。
监控端:
用户可以在世界的任何地方,只要他们有上网的电脑,他们就可以随时关注你的家和你关心的地方。
应用领域:
Wifi超长距离传输适用于各种环境,包括:
家庭无线文章监控
酒店无线文章监控
厂房的无线文章监控
医院无线文章监控
公司办公楼无线文章监控
公共场所的无线文章监控
车间、仓库和财务室的无线文章监控
商店的无线文章监控
基于Blackfin的智能IP摄像头系统设计
1.背景和概述
近年来,随着嵌入式应用越来越复杂,应用越来越多,特别是多媒体功能在各个领域的快速发展,高性能计算已经无处不在。从消费电子、网络通信到工业控制和监控,大多数应用都需要更高的数字信号处理能力。考虑到成本和设计难度,人们倾向于使用单个芯片来完成所有的工作,传统的DSP处理器和MCU处理器开始以各种形式融合:
1.将传统的MCU和DSP的协作方案集成到一个芯片封装中;或者进一步实现为真正的异构多核,可以共享部分甚至全部外部设备。
2.以SoC的形式给MCU增加基于固定硬件IP模块的数据处理能力,比如一些编解码器。对于一些固定标准的应用。
3.随着高端嵌入式处理器的频率超过500MHz,向1GHz推进,MCU和DSP平台已经真正融合,DSP处理器的外设接口数量和控制能力逐渐提升,而MCU的带宽和计算能力,尤其是软件多媒体处理能力越来越强,两者没有质的区别。
实际上,以上三种融合形式都是相互借鉴和交叉的。从这里开始,DSP和MCU之间,多核处理器的核之间就没有真正的界限了。对于任何应用来说,对应的处理器都是灵活的软件计算能力、高效的硬件IP模块和对应外设的组合,也就是所谓的“融合平台”。
这样的处理器平台对嵌入式软件开发者提出了更新更高的要求。高级语言编译器应该能够最大限度地利用硬件细节优化编译性能,减少人工优化的工作量,保持软件的通用性。DSP算法开发者不仅要了解硬件平台,还要考虑软件平台的架构对算法实现和优化的影响,比如将硬件相关的部分和不相关的部分分开,以适应操作系统的结构;软件平台开发人员还应该考虑处理器的细节,以便优化系统,例如抽象出多核或DMA通道并行处理的系统接口。硬件设计者、算法设计者和系统软件设计者之间的界限也在消失,复杂的嵌入式系统开发者和团队最能适应底层硬件平台的变化。
在这种DSP/MCU/硬件IP模块集成的大趋势下,ADI公司的Blackfin系列处理器是一款具有代表性的产品。从最早的BF53x系列到现在的BF54x系列和带图像处理单元的低功耗BF52x系列,以及双核BF561,都是采用相同的内核和多样化的带宽和外设,针对不同的应用和市场。在这种处理器上选择和设计软件时,需要考虑许多因素:
1.如何最有效地利用DSP处理器的硬件细节特性,从而达到最佳的算法性能和并行性。
2.如何最大程度的保持软件的通用性,避免过多的硬件相关代码和汇编代码。
3.如何降低软件平台的开发成本,是否适合采用开源操作系统或模块。
4.系统是否需要实时性,所采用的软件平台是否提供这种实时性保证。
这些因素有时是相互矛盾的,所以我们需要考虑具体应用的特点和自身的资源,做出折中的优化设计。
ADI公司为Blackfin的软件平台做了很多努力,提供了多种软件生态环境。Blackfin支持多种操作系统/RTOS,如uClinux、VDK、uC/OSII、Nucleus等。基于VDSP开发工具,Blackfin提供了多种免费的音文章编解码器、硬件抽象函数库和驱动程序。在这个基于BF53x的智能监控系统中,我们希望充分发挥芯片的处理能力,达到最佳的编码和智能算法能力,所以我们选择了一款RTOSUC/OSII及其网络协议栈作为操作系统平台。在小型RTOS中,一般不区分用户态和内核态,访问系统硬件资源开销低,实时保证中断和任务切换时间,内存的使用和分配相对自由。这些特点决定了Blackfin在RTOS下可以更轻松地发挥其作为DSP处理器的作用,可以直接使用ADI公司提供的高性能H264编码库。但缺点是,相对于Linux这种开源资源丰富的操作系统,RTOS缺少HTTP Server等一些现成的应用,需要更多的开发投入或第三方资源。
2.Blackfin IP摄像头系统架构
整个IP摄像头系统主要包括音文章采集、智能文章分析或智能音频分析、音文章编码、流媒体打包传输、系统控制等模块(如图1所示)。
基本系统是Blackfin的文章接口PPI接数字文章流输入接收文章信号,而串行SPORT接口可以接音频输入,音文章数据传输到SDRAM通过专用的DMA通道。如果需要智能监控,可以根据需要插入不同的分析模块;然后软件编码器负责对实时采集的音文章进行压缩,并将其制作成TS(传输流)流进行传输。整个系统由数据流驱动。可以根据需要选择下图中不同的输入、分析和编码模块。每个模块的输入输出都是标准数据流,可以灵活地插入系统数据流的不同位置进行处理。普通Blackfin单核芯片只能同时使用部分模块,而BF561等双核芯片或双芯片方案可以同时使用所有模块。
图1基于Blackfin 537处理器的IP摄像头系统框图
详细信息:用于IP摄像头的Blackfin 537处理器
2.1文章采集和编码
Blackfin系列DSP针对高速并行数据,尤其是文章数据集开发了并行外设接口(PPI),并在传统数据总线的基础上增加了专用的数据吞吐通道。
PPI接口不仅可以根据BT.601文章流的“硬件同步”模式工作,还可以自动解码BT.656前导码,从而允许无缝连接各种文章源和图像传感器。当配合直接内存访问(DMA)控制器使用时,PPI只能读取有效文章信息或完整文章帧信息中的空白区域。当不需要完整的文章帧时,这大大节省了带宽。此外,PPI可以忽略隔行BT.656文章流的所有第二场图像信息,从而为快速提取输入信号提供了一种非常有效的方法。最后,由于PPI本身可以解码BT.656文章流,因此可以直接连接到类似ADV7183A的流行文章解码器。
IP摄像头上的主流编码标准,如H.264、MPEG4-4等。ADI公司提供免费编码器软件。本项目采用H.264文章压缩标准,最大程度优化了ADI公司的H.264编码器的性能。片内L1存储器得到充分利用,数据通过DMA移动,DMA与处理器的操作并行执行。主要特点是:支持YUV420和UYVY422 (CCIR-656)文章输入格式,输出为NAL基本文章流;对于H264编码,支持基线概要和主概要的部分特性(隔行编码,CABAC),在BF53x上可以达到最大实时1/2 D1,在BF561上可以达到D1实时,I帧和P帧,自适应CBR码率控制等等。针对不同的应用,ADI H.264编码器的码率是可以调节的,甚至可以在CDMA1x等低带宽应用中以低码率实现实时传输。
2.2智能监控
目前,监控市场的发展越来越趋于智能化,各种文章或音频的智能分析算法已经产业化,如运动目标检测与跟踪、入侵检测、特殊声音检测与定位等。Blackfin处理器从架构到指令集对多媒体处理都有很好的支持,并且有专门的文章处理指令,因此特别适合实现灵活的多媒体智能分析算法。ADI公司推出的“图像工具箱”智能监控软件包,针对智能监控算法中的一些常用和基础功能进行了专门优化,性能良好,可以加速上层算法的实现和优化。
智能分析的一般实现是分析未编码的媒体流,但也有算法使用编码器的输出。本项目直接使用ADI公司给出的编码库,因此采用先进的智能模块直接分析输入的媒体流并输出结果。音文章的智能处理有很多种,并且在不断完善,所以一般都是用高性能的DSP来实现。目前Blackfin上有很多智能处理模块,如鱼眼校正、运动目标检测和基于运动检测的上层算法,如遗迹检测、入侵检测、枪击检测和定位等。根据智能模块的输出结果,系统控制和编码部分可以做相应的智能处理,比如勾勒出运动物体的框架,提高编码器的分辨率,根据声源位置调整摄像头方向等等。这些模块一般都有相对标准的输入输出接口,便于二次开发中的系统集成。
2.3媒体流
IP摄像机的主要用途是通过网络实时传输远程文章信息。在本项目中,传输流(TS)通过UDP或上层RTP协议传输。传输流是根据ITU-T REC定义的数据流。H.222.0 | ISO/IEC 13818-2和ISO/IEC 13818-3协议,其目的是在可能出现严重错误的环境中传输和存储一个或多个程序的编码数据。TS主要应用于实时传输的节目,例如实时广播电视节目。它的主要特点是可以独立于文章流的任何一段进行解码。因此在接收端可以随时访问它。目前文章监控领域还没有统一的媒体流标准,但采用TS over RTP/UDP有利于未来的系统集成。ADI的一些第三方提供完整的RTP协议栈产品,网络上也有一些开源的实现可供参考。
在数据链路方面,对于压缩文章传输,一般的网络接口芯片可以满足带宽要求,但在评价网络性能时,处理器占用率也是一个非常重要的标准。BF53x系列的BF537芯片内置了10/100M MAC接口和专用的DMA数据通道,所以传输和处理器占用率的性能非常好。在基于BF537的IP摄像机上,每1Mbps的网络流量只消耗1%左右的处理器性能,比如传输H264 D1分辨率的监控码流,处理器消耗不到10兆。
2.4软件架构
C/OSII是Blackfin支持的RTOS之一。它在高速Blackfin处理器上具有强大的硬实时性能,操作系统中断响应时间约为110个周期(600 MHz时约为0.18us)。系统首先创建一个主任务,负责系统的初始化和其他模块任务的创建。每个模块独立运行,处理自己的输入和输出数据流。模块间耦合度低,可以灵活选择。在网络协议栈方面,Blackfin也有多种选择。除了各种商用RTOS提供的TCP/IP协议栈,LWIP作为开源网络协议栈的领导者,在Blackfin处理器上也有移植版本。本项目采用与uC/OSII相匹配的uC/IP协议栈。
软件架构分为音文章采集、智能分析、编码打包、网络传输、系统控制等模块,每个模块负责不同优先级的任务,非常有利于系统集成和模块化设计。模块之间相互独立,通过信号量同步,模块之间的数据结构设计为双缓冲或多缓冲,保证了IO模块和操作模块的并行执行。对于高系统负载下的容错,也考虑了程序和数据结构,偶尔的丢帧不会影响系统的连续运行,错误会上报给系统控制部分。
下表(表1)列出了系统中每个模块的来源:
表1 IP摄像机系统模块的来源
3.系统优化
在DSP系统中,算法一旦确定,实现过程中的优化思路一般是固定的。首先使用编译器的一些优化开关和手段,然后对算法进行分析,找出关键代码和数据,对关键部分进行一些手动调整,比如改写成汇编。但是,在实现一个包括多通道输入输出和多个并行算法的完整系统时,如何实现整体运算的优化,除了传统的算法优化之外,还需要从系统的角度考虑一些因素:
1.最大化和优化系统带宽。
在这样一个复杂的系统中,视音频数据的多输入多输出带来了冲突和延迟,对片外存储器的效率产生了很大的影响。Blackfin的SDRAM控制器支持多银行数据并发传输,所以我们要尽量把不同通道不同银行的IO数据放在内存中。因此,在设计音文章和网络数据结构时,不仅要保证高效同步,还要利用Blackfin开发工具提供的特性将数据分散在不同的银行。
2.片上L1存储器的有效分配
传统上,DSP处理器内部的L1高速存储器可以直接访问和存储关键代码和数据,提高了算法的效率。MCU的L1一般用于缓存,软件无法直接控制。在Blackfin等高性能处理器上,L1可以灵活配置为缓存或直接访问。在一个完整的系统中,我们应该考虑每个模块和操作系统本身。部分L1内存用作缓存,以确保整体缓存命中率。另一部分作为SRAM算法的核心模块。在这里,我们需要做一些反复的调整和测试,找到一个最优的L1配置方案,最终目标是实现最大的L1内存使用效率(命中率)。
3.最有效地使用DMA通道
越来越多的处理器为IO接口提供专用的DMA通道,以减轻处理器的数据输入输出负担。除了音频和文章接口的DMA,Blackfin还有一个专用的存储器DMA通道。但是,为了优化使用DMA,最重要的是使用乒乓缓冲区来简化处理器和DMA通道。在数据输入、算法中的内存DMA、数据输出等每个环节都要用到DMA和乒乓缓冲,以保证系统的最高效率。这就要求每个驱动和软件模块都要支持这样的数据结构和运行模型。
总的来说,新处理器通常集成各种机制来提高性能。软件系统优化的思路是保证系统总带宽(如多总线、多DMA通道)和总计算单元(如多核、多乘法器)的并行性和流水线化,这需要开发者从系统和应用的不同层面来保证。
4.技术性能分析
由系统使用的RTOS引起的额外开销主要是具有10ms定时的定时器滴答,其可以被忽略。由于BF537出色的网络性能,网络传输占用的处理器时间也很少。主处理器时间花在音文章的智能分析和编码上。
该项目可以运行在单核或双核Blackfin平台上,接收方使用开源项目文章局域网客户端(VLC)接收和播放。对于单周期指令集的600MHz Blackfin内核,我们一般用600 MIPS来表示单核的处理器总容量,下表所列的部分系统模块也用MIPS来表示处理器容量,如下表所示(表2)。
表2 IP摄像头性能测试(单位:MIPS)
从上面的性能列表可以看出,对于系统中可以使用的每个模块,我们可以在不同的参数下进行性能分析。在此基础上,利用不同性能、不同模块、不同编码格式甚至不同帧率的处理器,可以针对各种应用组合不同的系统,实现产品差异化。比如我们可以完全运行智能处理算法,只在必要的时候启动编码模块发送关键媒体流;也可以平时运行低码率低帧率的编码模块,智能模块可以动态控制和提高关键帧的码率和帧率。这样的智能监控系统会更加实用,最大程度的减轻劳动负担。
图2基于Blackfin的智能监控IP摄像机
5.摘要
未来嵌入式处理器的发展特点是高计算性能、硬件IP协处理、多核和面向应用,因此软件平台和软件开发者需要适应这样的变化和特点。监控领域正在向智能化方向快速发展,需要这种软硬件平台来支撑。Blackfin处理器家族作为具有集成处理和控制能力的新一代处理器的代表,需要设计更新、更完善的软件平台与之匹配,以充分发挥其性能和灵活性,既能尽快满足市场的需求,又能保证厂商间的差异和创新。同时,ADI公司及其合作伙伴提供多样化的工具和支持,确保客户能够快速、低成本地开发出市场所需的各种嵌入式产品。
相关文章:
基于DSP的智能文章监控终端设计
嵌入式网络智能文章监控系统的设计方案
监狱智能文章监控系统的设计与解决方案
有关文章监控相关解决方案和电路设计的更多信息,您可以关注电子爱好者制作的week专栏设计:









