同视评价是龚欣出版传媒集团和《传播世界》全媒体集团旗下的评价团队。旨在打造第一手、灵活、创新、有趣的产品评测报告,为行业和用户提供对新技术、新产品的洞察,努力成为行业和用户了解产品内容的首选评测平台。测评内容主要包括网络、应用、手机、智能家居等产品,覆盖通信、互联网等领域的全产品线。
随着技术的发展,文章会议软件因其成本低、开放性好、软件集成性强而被大多数企业采用。用户只需通过APP、小程序和官网登录账号,就可以进行简单易用的功能,可以快速高效地进行文章会议,分享各种形式的数据文件,甚至实现文档协同编辑和电子投票,极大地丰富了文章的多样性。2020年初,新冠肺炎疫情肆虐全球。为了避免人流带来的集群感染,上半年在政策的鼓励下,远程办公和在线教学成为常态,文章会议服务也迎来了井喷式增长。
但是这些文章会议软件在不同网络损伤下(连续均匀丢包0%、10%、20%、30%、40%、50%)的用户体验如何?这些文章会议软件的服务水平如何?
对此,通视评测推出了“基于测试的文章会议软件评测”:我们选取了两款戴尔笔记本,使用了Siburon Umetrix文章测试系统和Attero网络破坏仪,选取了以国内外互联网厂商、终端和网络设备厂商、运营商为代表的六种主流文章会议解决方案。如Zoom(版本v5.1.1)、腾讯的腾讯大会(版本v1.7.0(483))、阿里的钉钉(版本5.1.15-Release.24)、字节跳动的舒菲(版本3.26.6)、华为的WeLink(版本6.5.6)。本文主要评测文章会议软件在相同测试环境下的文章质量、文章帧率变化、文章拥塞率、语音质量和音文章同步性能。
最终测试结果显示,六款测试软件中,云文章体验最好,其次是Zoom,飞书和钉钉还有待提高。
文章质量
文章质量是影响用户体验的重要因素。图1示出了在不同的网络损坏和分组丢失率下,由Sibolux文章测试系统给出的文章质量MOS分数的性能。可以看出,评测结果中MOS得分越大,用户体验的主观感受越好。
图1文章质量对比图
一般来说,Zoom和云文章在局域网内支持点对点的文章会议流模式,局域网内的文章质量比其他应用更好。非局域网的Zoom和云文章会自动切换到云服务器模式,Zoom的画质会大打折扣,而云文章离点对点模式不远。华为WeLink,飞书,钉钉和腾讯会议,文章会议流都要经过云服务器。其中,华为WeLink画质最好,腾讯发布会次之。
2
文章平均帧速率比较
文章帧率影响文章播放的流畅度,对主观质量的影响因文章内容不同而不同。文章内容越复杂,帧速率越高。从图2可以看出,舒菲和Nail在理想环境下的图像质量很差,而且这两款软件都没有提供高清文章选项。它的文章帧率不如其他应用。Zoom在用户端抗丢包能力最好,文章质量随着丢包的增加逐渐下降,帧率始终能维持在25帧以上。云文章和腾讯会议在50%丢包的情况下是一样的,帧率略低,但也能保证文章的流畅度。
图2文章平均帧率对比图
三
文章堵塞比较
造成文章卡顿的因素主要有三个:帧率太低,上传受阻,下行不好,所以文章会议软件需要设计有针对性的优化方案。在评测中,Ubuntu Umetrix文章测试系统对每个干扰时间超过200ms用户体验窗口的文章干扰情况进行了对比分析。从图3可以看出,在文章流畅性方面,Zoom在点对点和云服务器两种模式下的表现都非常出色,可以保证在50%丢包率的情况下不会卡顿。中国移动云文章在点对点模式下表现不错,但在云服务器模式下有所欠缺。但是钉钉用户端的抗丢包能力并不好。当丢包率达到30%时,文章就会卡顿。
图3文章干扰情况对比图
四
语音质量比较
语音质量直接影响用户的体验。Sibron Umetrix文章测试系统提供的基于ITU的POLQA算法,是业界常用的通过MOS评分来评估语音质量的评测方法。MOS得分越大,用户体验越好。从图4可以看出,无论是对等模式还是云服务器模式,Zoom和云文章的语音质量都近乎完美。两款应用都支持超宽带语音,在50%丢包的情况下,音质也能保持在一个不错的水平。虽然钉钉支持超宽带语音,但20%丢包下音质不如其他应用,大量丢包后用户端网络音质迅速下降。
图4语音质量对比图
五
音频和文章同步性能比较
有没有伙伴遇到过文章会议时文章画面和声音不同步这样的问题,这个时候会觉得很难受。通过基于Spellen GED流畅性算法评估10%-50%丢包和无丢包下的音文章同步性能差异,可以看出字节跳动舒菲在10%-50%丢包下的音文章同步性能最好,腾讯会议次之,云服务器模式下的Zoom也可以接受。
图5音文章同步性能对比图
结合以上五个维度的性能测试,不难看出每个文章软件在不同模式下给用户的体验是不同的。
文章会议质量方面,云文章的文章会议质量最好,在理想网络下可以提供1080p的分辨率,明显优于其他。Zoom在点对点模式下质量不错,但是云服务器模式下文章质量一般。在云服务器模式下,华为WeLink和腾讯大会的文章质量明显优于Zoom,但文章流畅度不如Zoom。飞书和钉钉文章会议的文章体验比较一般。
在网络环境的限制下,Zoom、云文章、华为WeLink、腾讯会议、舒菲可以在各种网络条件下提供固网水平以上的语音质量。但在网络不好的情况下,大会的发言质量会大打折扣。