（获取报告请登陆未来智库www.vzkoo.com）

本白皮书将从VR直播应用场景和体验入手阐述VR直播关键技术、平台方案及网络方案，并结合 VR直播实践案例对商业模式给出建议，促进VR直播产业发展，O 3 G m y Z }丰富VR内容供给。

VR直播概述

1.1什么是VR直播？

直播，即通过_ e , v & + P x A电台、电5 H ? j / t视台、网络平台等传播媒体对语音、文字、图片或视频等节目内容进行现场即时播出 的一种方式，可分为电台直播、电视直播和网络直播。近年来，随着计算! { 9 I V o B机科学和互v J ! / G $ & f联网络的普及，使得, E ] + ,网络在 线影音平台兴起，通过网络进行视频直播成为一种流行的方式。但人v 6 ` , Z ]类对美好事物的追求从来都是永无止境的， 临场感的缺乏、交互的单一性是传统平面2D直播最大的不足，而虚拟现实（VR: Virtual Reality）直播技术的产 生解决了这一问题，为用户带来前所未有的沉浸感，促使用户h ) 3 [ z a直播体验再上新台阶。

VR直播，是虚拟现实与直播技术的结合。虚拟现实简称为VR，指利用电脑模拟三维空间，提供使用关于视 觉、听觉、触觉等感官的模I n $ f Q / Q 1 +拟，让体验者身临其境地观察三维空间。VR直播与传统平面2D直播的差异点在于： 1、提供180或360全景视角，沉浸感更强；2、通过近眼3D显示，使得画面更立体，更真实；3、可实现更 多交互。

VR直播对设备的要求较高，普通的摄像头难以满足要求，需要使用h 5 { Q r W全景拍摄设备捕捉多角度的画面。用户 通j . & 3过VR直播观看可以自由选择任意角度，跳出了传统平面视频的视角框定，由体验者主动选择U , 2 @ Q (想观看的内容， 而不是被动接受内容，具有体验逼真的沉浸感。

1.2VR直播优势及发展前景

1.2.1 VR直播带动直播体验升级

CNNIC（中国互联网络. f J U 1 k信息中心）最新发布的《第44次中国互联网络发展状况统计报告》显示，截至2019 年6月，我国网络直播用户规模达4.33亿，较2018年底增长了3646万，占网民整体的50.7%，如图1-1所示。

但纵观2016年6月到/ & U Y2019年6月的用户 t Z [ 9变现。

1.2.3 VR直播有巨大的市场前景

VR直播带来的沉浸感体验在多个行业都具有重大的意义，具备巨大的市场潜力。赛迪顾问于2019年10月发 布的《2018年VR/AR市场数据》显示，2018年中国VR/AR市场规模为80.1亿元，增长率为76.5%，其中直播 行业应用市场规模为9亿元，占比z / T U Y11.2%，仅次于游戏和视频。

到了2021年，VR直播的市场规模将达到64.3亿元，市? h 5场占比为11.8%。

1.3VR直播应用场景

VR与直播技术的结合提升了直播观看体验，并使得观众从被动观看转换为主动参与，更加融入到现场，打 破了空间与距离的隔阂，这种特点使其有着E U p非常丰富的应用场景。VR直播主要有两大分类，一是PGC（Professional Generated Content，专业生产内容），如体育赛事、综艺节目、新闻事件、教育培训、产品营销 等；二是UGC（User Generate Content，用户生产内容），如网红直播、户外直播、生活直n p ! 0 R H L J播等。

1.3.1 体育赛事

传统体育赛事直播可以给观众带来实时观赛的享. T H u受，但只能从特定的角度收看，x 7 2 #无法全方位了解现场环境情 况@ m 1 a。加入VR技术后，从视角上拉近了观众与比赛环境的距离，更加为观众营造了现场感的观赛氛围，获得身临 其境的观赛体验。体育赛事VR直播解决了因现场场地不足、人流量过大导致的场地协调、人员安保、交通疏导 等一系列问题，让用户省去了路费、住宿费、现场门票费等巨额费用及大量时间，为用户低成. L _ 9本提供最大限度的 赛事直播临场体验。p + l .

从经济效益上来说，体育赛事VR直播} 3 G突破了现场座位的限制，大大拓宽了收视群体，还开辟了新的观) R , V 户会有着孤独感。可喜的是，目前已经 有将社交融入到VR直播的方案。如银河威尔科技（北京）有限公司（以下简称银河威尔）提供的GVR“第二现 场”应用，就是在用户视角前方呈现180的VR直播画面，背景叠加虚拟的看台。每个用户进到直播间后会生 成一个虚拟的角色坐在看台上，用户之间可以进行对话，发红包，还可以通过手柄控制“吹响”小喇叭为自己喜 欢的队员助威呐喊。VR直播中植入社交元素后，用户不仅能感受到现场的热烈气氛，还可以_ / r借助VR技术与自己 的} | | P ~ I朋友进4 g 1 Y行异z z n U n D 1地交互，- Y 9 b + B增加了更多趣味性。这种VR直播+社交的形式也可以应用L j 8 O a在演唱会、文艺晚会等场景。

1.3.2 综艺节目

VR直播在明星演唱会、明星粉丝见面会、文艺汇演、晚会等综艺节目中也得到了广泛应用。] @ ^ ! h % )同体育赛事一 样，综艺节目也具备广泛的受众群体和广阔的市场前景，观众通过VR直播可以近距离全方位欣赏自己的偶像， 感觉明星就在自己眼前，还能感受到O v U @ T ? u M w现场粉丝热情的欢呼声、尖叫声。

2016年底，备受瞩目的王l 4 r M 7 | W K菲“幻乐一场”演唱会在上海召开，该演唱会现场门票售价高l w ) E ! R达3000~7800元， 座无虚席，票价甚至被炒作O E o / / S % 2至数十万一张。该演唱会为场外观众提供了直播观看方式，超过2000万观众进行了 在线直播观看。此外，该演唱会也采用了VR 360视频进行直播，根据后台统计显示，近9万名观众使用V P d * F bR直 播方式进行在线观看本次演唱r { } V会。用户需要付费30元购F D H ` @ V 1 p买兑换码才能观看VR直播，如此一来，采用VR直播的方 式m + a : 3 $ &为此次演唱会额外创收了2G * | i64万。

华为iLab曾对本次演唱会的VR直播视频进行分析，由于受限于带宽因素的影响，本次VR直播视频流分辨率 为4K，码率仅8Mbit/s，用户体验存c d v p 9 [ O (在画面不清晰、眩晕的感受。如果采用更好的拍摄手法，更良好的网络进行 高带d - Z i [宽保障，将会带来更好的体验，吸引更多用户进行VR直播付费体验。

1.3.3 新闻现场

从传统的电视直播到网络视频直播，再到VR新闻，技术和媒介的不断发展，使得新闻报道的形式不断变r x W化 和丰富，改变了受众的感官。VR新闻直播为新闻~ d 6 6 = r l 0行业植入了新U ( V ? j I i n G活力，为观众带了新的视听体验。新闻始终追求 真实性，新闻直播要求最大限度的X M ! l W ( | F还原现场真实状态。在传统电视新闻直播中，观众往往作为旁观者，以第三人 称视角观看直b I &播，置身于现场之外。而VR直播新闻利用虚拟现实技术，以第e F a $ G B + = M一人称视角，或从其他当事人、围 观群众的角度，360全景展示新闻现场，比文字、图片报道更加具有沉0 } , v s Z 5 (浸感。观众在观感上变成新闻事件的5 P X z i 9 | 主 体，并且最大限度再现细节，新q * 6 C闻现场被事无巨细地记录下来，不像传统报道局限于远景的平面展示。这不仅增 强了新闻的表现力、感染力，也让新闻直播更加具有互动性。

目前，非常多的重大新闻事件也会采用VR直播技术，如庆祝中华人民共和国成立70周年阅兵式。本次阅兵 规模空前P [ r，仅参演、观礼和保障人员就达到了30余万人Y o s . 0 E n次。~ J L & B h & }对于普通民众来说，到天安门现场观看阅兵是非常难 以实现的，而采用VR直播技术可以突破这一空间 S 7 A盛大的场面。

除了国家重大新闻外，VR直播也广泛应用于许多产品发布会新闻现场，作为产品新型推广营销手段。如 2019年在上海东方体育中心举行的华为手机Mate30发布会就采用了5G+VR直播技术，并通过5G网络将发布会 现场的视频流传输到上e 3 E ] G L U q海、杭州、太原三地的华为智能生活馆，让位于场外的消费者也能身临其境感受发布会现 场。

1.3.4 教育培训

VR直播应用在教育领域，具有独特的优势。VR提供的沉浸式场景能让学员感受面对面的现场名师讲堂。在 线教育采用VR直播方式可以让用户深刻地感受课堂的气氛，极大激发学习兴趣，加强学习印象。

比如在VR医疗中，目前使用较多的就是使用VR直播让学生观摩专家的手术过程。早在2017年6月，北京协 和医院就使用VR直播技术进行w 8 l 1 。

1.3.5 游戏电竞

艾瑞咨询2019年发布的v # G《中国游戏直播行业研究报告》显示：2018年，中国游戏直播市场规模增长超过 60%，达131.9亿元，预计2022年市场规模将接近350亿元。

VR技术S a } H + a U的应用为游戏直播带来全新的体验，游戏爱好者可以沉浸到游戏场景中，与玩家一起战斗，感受到游 戏中的刀光剑影就在自己身边。这种全新的直播形式将吸引更多的游戏直播用户群体。

早在2016年，DOTA2游戏就推出VR观战模式。DOTA2F a u本身是一款普通的2D平面PC游X S d ~ c - 5戏。想观看VR直播 的游戏爱好者可以通过安装专门的DOTA2 VR游戏直播APP进入到虚拟游戏场景中进行全景观看，在游戏场景中 还可以进行自由8 i n E移动而切换视角。

有的VR游戏本身也设计了VR直播观看功能，为避免跟随玩家的第一视角走动、转身而感到眩晕，设计为用 户可以自由m 1 t H 选择视角。部分VR游戏直播还设计了用户自身视角大小的功能，用户可以用俯视或仰视的角度观看游 戏场景，带来更多有趣V @ a & Y & e的体验。

1.3.6 UGC直播

明星直播、网红直播、秀场直播，会议直播、以及; o E P +个人户外直播、生活直播等小型活动VR直播，属于非专业 性的UGC性质的V6 n U J { } N FR直播。相对于PGC VR直播来说，UGC VR直播由普通人员独立操作，仅需满足小型活动或 个人需求，对直播的安全性、体验要求不 R , # l I a b如PGC VR直播高，通常采用民用级VR拍摄设备，无需专业设备。+ N i }国 内曾涌现出小花秀VR直播、小熊VR直播、花椒VR直播等一系列OTT平台。通过VR6 x ] g O = Z q直播技术，让用户可以和自 己喜欢的偶像近距离沟通，提升视觉体验，也可以进行个. ? + +人VR直播，并发送N #至社交平台与自己的好友分享。

目前市面上已经有不少面向消费者的VR直播设备Z 0 R Q，可支i . * * m Z ? Y E持4K分辨率360直播，价格约几千人民币。这类 VR拍摄设备体积小巧便于携带，还带有防抖功能，方便用户进行户外活动直播，并进行实时分享。

1.4VR直播面临的挑战

VR直播虽已有着较广泛的应用，但还存在一些问题有待解决：

1、VR终端设备

观看VR直播要获得沉浸式的效果，必须佩戴头戴式的VR设备，而不是仅在手机或PAD上用滑动手指进行全 景观看。/ y % A 0 T / x手机+低廉的VR眼镜盒子帮助消费者实现了VR普及，但其体验受限于手机的分辨率和性能，不能得到 较好j e $ K % r /的体验。从2018年开始，VR一6 ] /体机开始快速发展，到2019年，已普遍达到双眼4K的屏幕分辨率，可观看 全景8K的VR内容，已逐渐消除“纱窗效应”。但VR全景分辨率24K时才能达到极致体验，此时VR终端的屏幕 分辨率需要达到1 L D ` w & 3 0 8 S、眩e y e ^ M #晕、卡顿，体验得不到保障。

从VR直播内容生产来看，要达到更高的分辨率，需要音视频采集端设备和图像拼接服务器等设备具备更高 的性能。此外，更高的分辨率，也意味着需要更高的码率才能保障体验，对网络带宽提出更高诉求。

从VR直播内容展现形式来看，还需要进一步加强社交互动性、立体视觉、听觉感，不断提升用户极致沉浸 的体验。

随着云计算、5G和宽带网络技术的快速发展，将为VR直播带来了更稳定的网络带宽保障，促进VR直播体 验升级和规模发展。

VR直播方案

2.1VR直播整体方案

VR直播整体方案架构主要由内容采M w f w 2 2 *集端、* D ? A o { 3 QVR直播平台、网络和P P N d R P终端四个部分构成。

1、直播采集E J K h I ? @端

VR直播要求实C p a时的内容生产，内容生产主要包括拍摄、拼接、编码、推流等环节。( P ? l &

当前内容生产主要在直播采集端本地完成，采集端部署在直播现场% $ ~ ~，通常C Y r 9 6需要配置VR摄像机和本地服务器 （用于拼接、编码、推流、导播等），其会对每个机位拍摄的内容T ; p Z z生成完整的视; O O S &频S # a流，再通过导播系统选择某个 机位的视频流，经由网络注入VR直播平台。

随着云计算技术的不断发展和普及，业界厂家将视频的拼接等对计算能力要求相对较高的环节移至云端处 理，以降低对采N ) ] 3 l ? | )集端设备处理能力的要求。5 C h r g e此时，采集端不进行视频拼接，而是将VR摄像机拍摄的原始视频传 至云端，由云端拼接。

2、VR直播平台

VR直播平台整体上与传统直播平台相似，核心功能包括：

业务播控/管理：主要负责用户、订购和计费等业务信息的管理，完成用户的接入认证、业务鉴权等业务权限 的管控，以及实现节目编排、列表管理等媒资内容的运营。

内容处理与分发：对s j 4 0 D于采集端拼接的场景，主要实现采集端内容的注入、转码（转编码或转封装）Q 1 7 $等处理， 并作为CDN的源站，实现内容的存储/缓存和分发等。对于云端L = | ` c k拼接的场景，平台还需具备拼接处理能力。

CDN节点：) Y 0 D - s = k X直接面向用户，主要负责内容的缓存与加速、用户视频数据的接入，以及响应调度请求，快速 向用户提供媒体流服务。

3、网络

与VR点播、Cloud VR游戏等G , 9 u v各种Cloud VR业务一致，面向终端，VR直播需要大带宽、低时延的下行网络 传输保障用户体验；而不同的是，面向采集端，高码率的视频源需要实时回传至云端，对上行网络传输提出了新 的诉求。

4、终端

在终端侧，用& h g b #户使用VR头盔、手机和平板等终端设备x B { b b % ) U (，通过网络接入VR直播平台获取内容，涉及行业场所 的多用户接入（2B）、家庭用户的接入（2H）和消费者用户的接入（2C）等多种场景。

2.2VR直播关键技术

基于VR直播方案架构，VR直播的关键业务流程是明确的，! p g 5根据视频拼接是在采集端还是云端完成，采集端 和云端的分工略有差异。

使用采集端拼接时，直播采集端对各个机位VR摄像机w w f ? ~ H K p +采集的内容进行拼接、编码、封装，为每个机位分别 生成一份完整的视频流，再通过导播系统选择某个机位的视频流注入云平台；云平台对注入的视频流进行转码处 理，包括转分辨率（如8K转, r i O a D o ]4K）、转编码格式（如H.264转H.265）或转流媒体封装（如RTL e Z b : @MP转HLS）等， 再6 C R进行节目编排、. l K z分发至CDN。

使用云端拼接时，采集端对VR摄8 K # z @ Q z N像机; x % w # u q拍摄b H O 1 X B T 8的原始视频分别进= d 6行编码、封装，直接注入云平台，由于VR摄像 机一般具有多个摄像头，因此每个机位都有多份未经过拼接的视频流；云平台对注入的多份视频流分别进行解封 装、解码，还原出原始视频后进行拼接、编码封装，对每个机位生成一份完整的视频流，然后供导播系统选择某 个机位的视频流，进行后续的转码、编排和分发。

总的来看，VR直播关键技术主要包括内容采集、视频拼接、编码推流和内容分发等。

2.2.1 内X x A Z f A u容采集

内容采r D . D ) g e集即u 4 ` ` ! W C { +通过VR摄像机拍摄采集VR直播内容素/ Y ^材的过程。

1、当前VR直播的拍摄方案：2D或3D、180或360

(1) 180 和360VR直播各有优势，适用场景不同

VR直U - l y K ) i播根据视频画面覆盖的视场角不同，主要形式有360VR和180VR，这两种形式的关键技术基本一 致，当前均可实现，二者在不同的直d K = K n w d 4播场景上各有优势。

对于目前常见的VR直播场景如体育赛事、综艺节目等，通常建议采用180VR，主要原因有：

场景展示范围集中：此类场景一般有舞台或展示中心，用户通常只需要专注地正视前方，不会频繁出现左顾 右盼、向后转头等行为，采用180VR一般可覆盖用户正常观看的范围。此外，采用VR 180直播更便s w U于 在非直播内X , ? y 5 1 h &容区域构建虚拟场景或增加广告，植入互动、趣味元素。

清晰度体验更好：内容分辨率及覆盖视场角是影响VR内容清晰度体验的重要因素，相同分辨率，覆盖的视 场角越小，单位角度内像素点密度越高，清晰度体验往往更好。以4K VR内容为例，360VR等效于传统 TV 240P的体验，而180VR可等效于480P TV的体验。

360VR可以全方位呈现场景内容，比较适合于旅游、风景等相关题材场景的直播拍摄，这类场景的特点 是全景都有不同的精r r e z N r彩内容呈现。

(2) 2D VR支持多机位拍摄_ * } j l T，3D VR以单机位拍摄为主

直播P 7 u 2 =通常会涉及多机位的切换，尤其是大型场合更需要现场的多方位呈现。

人的双眼存在间距，因此在感知现实世界时，双眼存在视差。3D VR摄像机需要分别为双眼分配不同D v u [的摄像 头，并通过双眼对n W z e Z应的摄像头间的夹角模拟双眼间距，以捕获双眼所见的、存在视差的画面，进而营造立体感， 如图2-4所示。为了增强VR沉浸感，VR拍摄优先选择3D VR。

当前单机位的3D VR拍摄的技术相对成熟，但多机位的3D VR拍摄并不是单机位v H - 4 X i 8拍摄的简单组合，其主要的 技术实现难点在于：一方面，不同机位的VR摄像机需X Q N + ;要调整合适镜头角度，以实现多机位画面的自然切换，但 目前相关的硬件工程能力尚未完善；另一方面，2D VR视频有一路视频流，而3D VR视频有两路视频流，导播系 统在进行L v U i K R i n f机位切换时，软件上无E k : _ _ F法很好地支持两路视频流的同时切换。因此，8 X i u3D VR仍无法广泛应用于多机位拍 摄，多机位拍摄以2D VR为g c Y K e ` R o主；而单Q ; o机位拍摄建议采用3D V8 ! f @ n ; A s LR，提升沉浸感。

(3) 2D 180多机位拍摄适用于大型场合，3D 180单机位拍摄适用于小型场合

2D 180多$ | / % j V [机位拍摄的优势在于支持自由的机位切换。H W a [ x D i v 6对于大型场合，如篮球比赛，往往需要通过切换机 位来呈现近景远景、不同角度下的精彩现场，因此采用2D 180多机位拍摄更加合适。

3D 180拍摄的特色在于对近景细节进行逼真、立体v / x l 5 $还原，沉浸感更强。对于小型场合，如迷你演唱L y Z 8 # v # K会， 选择一个好的机位即可较好地满足用户现场观看的需+ ` w y } Z求，拍摄以近景为主，因此可优选3D 180单机位拍摄。

2、PGC优选组合式VR摄像机，UGC常选一体式VR摄像机

VR摄像机一般由多个摄像头组合而成，主要可分为组合式与一体式VRT w t摄像机两种形式。不同的b X g ; { O qVR直播场 景拍摄可综合考虑内容体验要求、成本、便携F ) A 8 _ D N性等多方面要素，选择合适的VR摄像机。

(1) 组合式VR摄像机：常用于PGC制作

组合式VR摄像机一般由多个p 0 T V [专业的摄像机组合而成，可按需、灵活组成180或360VR摄像机（如图 2-5所示）；其中VR摄像机进行视频拍摄，再配置额外的服务器/工作站进行视频拼接、编码和封装推流等环节 的处理。

组合式VR摄像机通常会H w p以免出现画面变形和Z i G F z 缝合不完整等问题。

2.2R } v B b L $.2 视频拼接

VR摄像机的每T b n 7 r L B m }个摄像头负责拍摄一定视场角范围内的局部画面，而视频拼接是将这些局部画面视频拼接成 完整的VR视频画面的过程（如图2-6所z n - f 0 ? M X e示），其本质上是图像序列3 c v + r T的拼接，拼接b W w j ^效果影响VR视频画质体验。

1、图像拼接：VR直播相比传统直播独有的关键技术

图像拼接技术可基于特征、光流等多种不同的处理域进行拼接，以基于特征的图像拼接为例，其主要流程包 括：e C O % @图像获取、预处理、配准和融合，每个环节的处理优劣都会影响最终的拼接质量，而其Y w N P / 3 ~ j )中最为关键是配准和 融合。

(1) 图像获取与预处理

在进行图像拼接前，需要从VR摄像机采集的内容中获取待拼接的图像。VR摄像机的各个摄像头由于系统、 安装等各方面存在差异，会影响图像拼接的效果，因此需要在拍摄前进行摄像头的标定和视频同步，以便为图像 拼接准备更优质的素材。

摄像机标定：不同摄像头拍摄会由于镜头的焦距不一致或者出现平移、旋转等物理的差异，不仅会使画面本 身出现缩放、倾斜等一系列的问题（如图2-7所示），还会导致5 , ) 不同摄像头输出的画面T W [ X ^ | 3 v 1难以对齐、拼接，因此需 要通过摄像机的预先校准，使不同摄像头u U A [ d I s !输出的图像尽量一致。

视频同步：不同摄像头的缓冲、曝光等存在差异，缓冲初始化时间和曝光时间的不同步，则不同摄像头生成 的帧画面时间不同步，使得视频拼接时可能出现同一时刻的帧画面匹配出错，导致拼接后的视频出现明显跳6 }帧或 拼接错位等问题D N N（如图2-8所示），因此需要通过同步缓冲初始时间m 5 C G U [ J k、曝光时间等进行视频同步。

摄像机标定和视频同步可分别视作不同摄像头在空间和时间上的同步。VR摄像机在进行标定和同步后正式 开始采集，但采集的画面可能会存在噪点、坐标不统一、畸变等情况，这些都会影响图像拼接的效果，因此需要 进行图像去噪、坐标变换、畸变校正等P { W预处理。

图像去噪：由于W d b @ } $ v图像采集过程中环~ v = m # + ! b -境复杂、多变，采集图像难免存在噪点，这些噪点会被视为图像中的一部 分，导致图像Q : F配准时误判，N Y * 0 E X 7 i &影响图像拼接效果。图像去噪可以除去噪声引入的干扰信息，方法很多且成熟。

坐标变换：每个摄像头以自身作为空间坐标系的原点进行拍摄，不同摄像头的所在的原点和空间坐标系不 同，因此每个摄像头拍摄的局部! ) #画面实际上并不在同一个坐标系上，“观看中心”也不同，如果直接拼接，拼接 画面与人在真实世界中实际观看的感觉不相符，使画面看起来不自然。因此需要先对图像进行坐标变换，统一坐 标系，再进行拼接。

畸变校正：由于制造、安装、工艺等多方面的原因，镜头存在着各种畸变，其中以摄像机内部系统构造引入 的径向畸变最为典型，一般可分为K _ 4枕形畸变和桶形畸变（如图2-9所示）。图像的畸变校正则是根据导致图像畸 变的原因，建立相应的数学模型还原畸变失真的图像。

投影映射：VR摄像机通常会配以鱼眼镜头等超广角镜头来扩大拍摄的范围，而{ z x U 6其成像结果是球形画面，这 与传统平面画面不同，不便于图像的拼接，因此需要将球形画面投影至平面画面u g u ,中，比如采用等距柱状投影（如 图2-10所示）。

(2) 图像配准

为了实现图像拼接S g b X 7 E，相邻摄像头采集的区域会有所重叠，在画面拼接处留下足够的冗余用于拼接，图像配准 则需要在重叠区域通过寻找合适的拼接缝合点。

在理想条件下M s L ,，不同图像的重叠区域是完w 3 1 * P y { s J全相同的，如此进行配准非常简单。事实上，由于摄像头自身系 统、拍摄环境等多个方面G $ i O w的差异，重叠区域不可能完全相同，而这也使得图像的配准变得复杂6 A I 4。

图像配准涉及特征空间、相似性度量、搜{ S u I t索空间和搜索策略的选择，寻找拼接缝合点，本质上是在搜索空间 内依据搜索策略寻找相似特征点的过程。

特征O e 6 D空间：在进行图像配准时，由于图像的原始数据量较大且冗余信息太多，一般不会针对原始数据进行处 理，而是会提取图像的特征数据，因此需要选择合适的f h j m ; ( J $特征空间，如灰度、亮度、轮廓等。

搜索空间：相似特征点的搜索是针对性的，需要锁定可能配准的位置范围F : i = k : %。

搜索策略：搜索的过程需要S ~ , %选择合适的搜索策略，以尽可能地减少= ? + d 9 $不必要的搜索，优化计算量，提高搜索效率。

相似性度量：判断特征点是否相似则需要给定相似性度量的准则。

(3) 图像融合

图像融合是将已经完成配准的多幅图像融合形成一幅完整图像的过程。

图像融合需要选定一幅图像作为基准图像，并将经过配准后的其他图像通过融合算法对重叠区域的数据进行 计算，并统一到基准图像所在的坐标空间R = x t b x中。融合算法包括直接平均法、加权平均法、距离权重法等。

图像融合不是简单地缝合配准后的两张画A { ;面，还需考虑$ 0 8 d拼接处过渡自然和整体画面协调。由于摄像机和光照 强度的差异，图像之间亮度和色y V A $ R J m度不统一，拼接后的图像会出现明暗交替或者有明显拼接缝的问题，导致拼接不 自然，因此需要进行亮度和色度的均衡处理，实现整体的亮度和颜色的一致。

2、视x * T W 0 M } ^频拼接输出的画面质量是影响VR直播体验的关键

视频拼接输出的画质质量与VR摄像机采集性能、拼接处理能力等息息相关。

VR摄像机的每o $ C r b个摄像头具有自身的采集参数，包括分辨率、帧率、色深、视场角等，这些参数会影响采集 内容的原始质量；而不同厂家、型号的摄像机，即使参数相同，但由于软硬件的差异，成像效果也会有所不同。

视频拼接需要对原始采集f e K d , Z ^ g K $ W量更大，同时直播要求实时性， 因此需要更高效的编解码能力。

对于4K VR，使用H.264编码尚不会给存储与D 8 6 j . P J传输带来明显的冲击，业界厂家也常使用H.264进行4K VR的X o _ h T 编码，或在云端拼接场景下用于采集端原始内} O 9容的编码。而对于同一种编码标准也有诸多的编码参数、算法、档 次等供灵活调整，可带来不同编码! o ] ^ |质量和效率。

随着VR视频分辨率的不断提升至8K及以上，高度密集的数据将带来了数据存储和传输的挑战；同时，, j u W _FoV 传输技术的应用也需要k 1 k编码技术的配合，此时H.265及更新一代视频标准将更适合于V~ , oR视频编码。

2、流媒体传输] } _ q：实现内容的“即点即得”k x + Z + l R * D

VR直播需以流媒体形式通过网络传输至VR终端，以便k F 0 u z用户实时观看直播，其主要在如下环节涉及流媒体传 输技术：

采集或拼@ ) E ( { _ # 1接内容的封装推流：当使- V 2 z用采集端拼接时，拼接、编8 v G d c K B码后的内容需要封装推送至云端；当使用云端 拼接时，VR摄像机采集的原 p ` e始内容经过编码后，需要封装再传b ! ( n b I n至云端拼接，涉及解封装与重新封R ! _ M b - T装的过 程。

转封装处理：云端需要将注入的视频流，转封装成符合平台存储或传输规范、可向下分发的流媒体形式，此 时需解封装后，再采用另一种流媒体协议封装。

终端解封装：云端的处理是先编码后流媒体封装，而终端则需对视频流进行解封装、解码，需要终端支持相 应的流媒体协议。

当前，VR直播采集端向云端注入内容主要采用RTMP协议，但标g n Q准的RJ _ @ A =TMP协议不支持H.265，如果内容 采用H.265编码，T V .需要对RTMP标准进行扩展；而云端向终端分发时，一般采用HLS等协议，此时需要在云端进 行转封装处理，从RTMP封装转换为HLS等协议。随着VR直播分辨率的不断提升，采用FoV传输，则需要考虑 DASH等更新的流媒体协议。

2.2.4 内容分发

1、VR直播CDN与传统直播大同小异

VR直播总体上可采用传统直播的CDN技术。CDN的典型结构包括中心节点、区域节点和边缘节点，其中边 缘节点需要靠近用户部署。CDN的主要工作流程包括：

VR直播内容经过转编码、转封装等基础处理后注入到中心节点，中心节点将注入的内容一h Y I d j (级级地分发到区 域节点与! A r边缘节点。

终端向CDN发送视频服务请求，CDN为终端调度并返回提供d t A !视频的边缘节点地址。

终端向 k r 9 6 p相应的边缘节点请求视频服务，边缘节点如果具有相关视频内容，则直接向终端推送视频流；如果没 有相关内容，则边缘节点向上级节} r r n O ( S点回源、获取内S . Q ~ 1 X容。

2、VR直播CDN需增强大码率内容的分发推流能力

相比传统直播，VR直播数量更大、码率更高，要求CDN具备更大的存储能力、更高的吞吐量和更强的分发 推流能力，因 Q F w B此需要充分分析Vs } J t I ) (R直播内容带宽需求、用户并发率等，增强CDN能力，预留足够资源v @ 3 +，5 H U x以保障业 务体验。

2.2.5 视频传输

与传统视频始终传输视频的整个完整画面不同，VR视频根据是否传输全视角的完整内容，包含如下两种视 频传输方案：

全3 f J R ~ F w n视角传输方案：将J s ; C u / DVR 360( 或180) 全部视角、等质量的画面从云端传输至终端，当用户头部转动至 特定的视角时，由终端即时完 ) P ! L l ? K成全部画面或视角范围内容的解码，并显示该视角的g - / i画面。

FoV传输方案：云端根据终端视角信息，向终端推送FoV区域范围内的高质量画, A a T 7 Q z _ f面和非FoV区域范围内的低 质量$ ! y `画面，再由终端进行解码显示。具体地，如基于分块的自适应传输（Tile Wise Streaming，TWS）方案， 云端向终端传输低清全景+高清FoV视频流。

当前业界厂家主要采用全视角传输方案进行4K VR直播，而8K VR直播采用全Q b 8 p & Y F 7 R视角传输和FoV传输方案的均有。

2.3VR直播平台方案

VR直播平台总体目标是以VR直播业务为中心，在5G、宽带及固移融合等网络条件下，以直播平台为基础， 依托视频处理算法和云计算服务以及专业的直播技术，面向用户提供高质量、优质体4 0 t i a验的VR服务R K . I。VR直播平台 方案涉及对前 v E e { s = u *端采集设备的支持，直播、点播、k ` w {转码、存储、分发、播放等功能。

2.3.1 VR直播平台功能要求

VR直播平台服务基本架构如图2-12所示，遵循云计算y 9 9的三种服务模式：

IaaS层：主要包含服务器集群、云存储、云数据库、CDN与数据管理的能力，实现针0 o l _ ^ i V对VR直播服务进行 存储、网络、服务器及相应处理能力的自动部署，具备高J p Q 7度可扩展性。

PaaS层：主要包含视频能力、网络、播控及大数据等组件，其中视频能力组件包括在线转码、直播录制等 功能；网络组件包括多CDN支持、DNS智能调度等功能；播控组件包括鉴黄、鉴暴/ 9 o、比对等功能；大数据组件 包括播放数据反馈分析、CDN分p H ; G t W U ~ /析等功能。

SaaS层：主要包含内容管理、PGC直播管理、UGC直播管理、内容加工等组件，其中：内容管理包括上 传管理、编目管理等功能z 3 V 7 h d ; 0 *；PGC直播管理包括频道管理、编码管理等功能；UGe ( Q 3 1 n # - oC直播管理包括实时监控、内容 检测等功能； o : 8 5内容加工组件包括逻辑打点、在线快编、云剪辑等功能。

……{ 3 S u

2.4VR直播网络方案

2.4.1 VR直播网络需求

相比* q T ;传统直播，VR直播内容码率更大，需要高品质X K ;网络来确保内容回传和分P F L l G * r发过程中y _ M e f K G G视频的高效传输，保 障T y x T |业务体验。当前VR直播主要内容规格的建议码率和带宽如表2-2所示。

8K VR采用全视角传输时，对VR终端解码能力要求较高；当前具备8K解码能力的终端较少，受限于终端的 解码能力，可考虑采用FoV传输方案。以r A _ ~ s [ U C我国目前已经进入以10G PON光纤接入技术为基础的千兆接入时代。根据工信部2019年 10月b 0 e j _ e发布的数据显示，我国光纤接入（FTTH/O）用户4.11亿户，占固定互联网: 9 Q Q u g l _ o宽带接入用户总数的91.4%。 宽带用户持续向高速率迁移，100Mbps及以上接入速率的固定互联接入的场景类型，采用不同的 网络方案。

(1) 2B场景

对于2B场景，如VR直播“第二现场”、分会场、o q y D 4 g ] AVIP包厢等场所，m @ k ; W R有多用户同时接入，并发码率大，建议 CDN节点与场所间配置专线保障a I W K。

当VR终端数量规X n D 8 l t ~ (模不太大（如20人以内）时，优先选择Wi-Fi接入，需要部署多个高性能AP并对Wi-Fi频 段进行合理规划，避免干扰。

当VR终端数量规模太大* S m Y v时，Wi-Fi频段资源有限，过y v t = , T P Y E大的视频流量并发，极易引发Wi-Fi干扰，影响用Q - 8 a H户体 验，此时建议VR终端采用USB转网口线缆连接网络设备（如图2-14所示），采用有线推流的方式，以保障多人 同时在线的体验。

随着Wi-Fi 6（802.11ax）的应用，其通过MU-MK o H m E F 1 s gIMO、OFDMA频分复用、1024-QAM高阶编码等技术， 从频谱资源利用、抗干扰等R c / c : +方面提升接入容H k h a ! q量和传输效率，结合业界领先的家庭网关和专业的家庭组网能力，可实 现Wi-Fi实现更多用户接入并保障VR直播体验。

(2) 2H场景

对于2H（家庭）场景，通过配以千兆家宽并采用高性能5GHz Wi-Fi接入，保障VR直播观看体验。

(3) 2C场景

C端用户可- z A通过集成5G模块的终端在室外接入观看VR直播。当前已有手机支持5G，但VR头盔尚未支持

VR直播实践案例

3.: U 2 3 ~ 8 F1重庆国际马拉松VR直播

3.1o M _ + a.1 项目背景

2019年3月重庆国际马拉松VR直播由中国联通网络技术研究z ^ | _院（以下简称联? W v x W U ( y通网研院）、重庆联通联合重 庆马拉松赛事组委会、重庆卫视等多方合作完成。本次马拉松路线全程45公里赛道全部实现5G高速网络覆盖， 保证VR直播画面高速稳定3 t [ U传输。

本次重庆马拉松5G+VR直播是中国联通首次广域赛事级VR直播，也是全国首次将5G+VR技术应用于国际 级体育赛事的直播，要求马拉松赛道沿线5G网络覆盖稳定。体育赛事相比之前的综艺、会议类直播，内容属性 有巨大的差异：拍摄对象从演职人员变成运动员、观众群体变成了赛事爱好者、场地从室内转% : : O ; } x S G向室外，VR直播 的范围更广，不可控的因素更多，从设计到实施直播都是一个巨大的挑战。

3.1.2 实施与效果

本次VR直播在赛道全程设置多路VR机位，通过5G网络实现VR全景视频实时回传至播控中心，并在播控中 心配备专业导播和制作团队，通过图文包装、导播切换等广播级设备4 N ~ `实现内h 5 | E [ Z 4容精细化制作。

本次VR直播全程采用专业级8b g y X m _K全景摄像机进行多机位直播，通过5G上行传输到核心网，再到直播工作站， 工作站每路机位配备一台服务器用于图文包i N A 8装，然后将全景多机位视频信号、x W m 4 &广{ j 1电直播节目信号、单兵全景视频 信号传输到导播切换台，导播机位切换后输出最终视频流，通过R 1 } d互联网专线推送到联通自有路径（微信公众号嵌 入的直播平台链接）、重庆广电、爱奇艺等。

同时，为了保证与卫视信号的同步，在赛事包装A H a K I y h T O大屏幕监看。

本次重马5G+VR直D 7 o 3 ( c播创造性的将新媒体与传统媒体进行融合：在VR全景视频中开窗加入平面直播信号、 VR直播增加解说、实时播报赛事信息等等，充分呈现赛事节目效果$ y J d W D e。同时( M u _ / P U C pVR直播与电视直播同步，这种形式也 是5+ Z R t bG新媒体对传统媒体的创新和有益补充。d M @ d J M g b

重庆国际马拉松5G+VR直播创下三个全国首次：首次5G商业直播、首次马拉松5G+VR互联网直播、第一 长距离5G连片网络覆盖VR直播| ( $ K 3 y r F，为5G+V@ N : QR广电级大型赛事直播树立了标杆。

3.27 S y g M N SCBA总决赛“第二现场”VR直播

3.2.1 项目背景

2019年4月28日晚，CBA 2K O O ]018-2019赛季总决赛第二Q i p C场广东与新疆队的对决在东莞篮球中心“开战”。本 次比赛通过5G+千兆网络传输实现了VR高清直播，让球迷在远离比赛看台k : G f g c c的“第二现场”戴上VR终端后也能得 到如同现场般的沉浸式观看体验。

3.2.2 实施与效果

CBA总决赛是中国最顶级的体育赛事，对于现场直播的稳定性、专业性和用户体验都有着最高的要求和非常 高的挑战。

1、VR直播机位q l ! p = A N ` !设计：

CBA总决赛传统拍摄机位有14路，U l w F H 3 d 本次的VR直m m = $ M 1 k C [播拍摄方? B N u H C / J银河威尔提前根据场地情况绘制机位图，防止与传 统机位发生冲突，最终选择了3个VR直播机位：主队视角、客队视角以及中立视角，保证用户全方位体验比赛现 场。

2、网E 6 # g络设计：

VR直播上行：东莞篮球中心CBA决赛现场通过5G基站+Q 2 0 F X 65G CPE保障30~50Mbit/s高码流VR直播信号回 传至VR直播平台。

VR直播下行：VR直播视频分Y { y发到边缘CDN，并以不低于30Mbit/s码率视频流传输到通过千兆专线、家宽 或5G CPE接入VR直播平台的VR一体机% C + G u终端。

馆外“第二现场”通过千兆宽带和高密度Wi-Fi实现20路用户并发，进行VR直播观看体验。

本次CBA总决赛 VR直播通过5G+千兆网络的保障，实现了高码率、低时延的VR直播体验，并同步实现了 VR社交如语音对话[ ! p q，挥手示意等交互功能。整个直播过程中传输稳定流畅，时延优于电视直播，, K 4 3 p & f %与传统电视直 播形M s K l |成了差异化体验。此外，VRt N例实践为运营商发展5G与千兆家宽l ` + ^ 2 1 @ #业务提供了VR直播商业场景的可行性参考，促进VR直播 规模x K % x . 9 [ -化商用的到来。

3.3央视春晚VR直播

3.J g w 8 [ @ 3 h3.1 项目背景

2016年被称作VR~ 1 T o ~ ~ p元年，VR直播在演唱会、新闻事件等领~ U n i Z G域已: l C f [经被广泛应用，春晚作为国内最受瞩目的大型 晚会也紧跟步伐。2017年，中央电视台一年一度的春节联欢晚会首次实现VR直播，用户下载央视客户端就) a & w : E i 8可以 观看VR版春晚。VR直播创新技术的引入为央视春晚节目带来了亮点，至此以后，VR直播已成为央视春晚直播 常态化应用的方案，至2019年，已连续三年进行了VR直播。

3.3.2 实施与效果

北京兰亭数字科技有限公司（以下简称兰亭数字）在央视春晚近三年的VR直播中提供技术支持，随着VR直 播技术和网络. C w $的发展G - E 6 g ?，让春晚VR直播体验实现f v J了逐年升级。

2017年春晚VR直播中，兰亭数字采用了业内领先的播放设备和播放技术：包括VR直播软硬件系统、影视b c A 特效实时叠加、H.265压缩; _ M t p c、VR航拍等技术，真实还原春晚现场。本次春晚VR直播在演播大厅、春晚准备后 台、明星出场过道、央视导播中心等现C K x W ~场不同位置架设了拍摄机位，用户在观看VR直播时可以自主选择想要观 看的视角，了解春晚演出台前幕后的每个细节。除了传统拍摄机位外，兰亭数字还针对央视春晚的大型舞台和众 多外Z ) Z 4 z V

VR直播商业模式

4.1VR直播产业链

Vg I p / : sR直播产! P ( O G 0 {业链包括内容提供商、电信运营商商、云网方案商、VR直播商! ! ! [ Y、广告赞助商、终端提供商。

除了网络管道的服务外，电信运营商还可以借助原有 K v f X ?的IPTV} N E ! H平2 a Z 3 T台搭建VR直播业务系[ [ L Q & O统，并复用原有的认 证、计费等平台管理功能，实现高质量、高可靠的VR直播平台统一管理和运营} | S X X * h。

3、云网方案商

云网方案商主要负责云端资源提供、云网方案支撑、协同建网、 n VVR直播网络环境调测、辅助运营等。

4、VR直播商

VR直播商承担了VR直播现场的直播方案搭建、灯M & ~ G光调节、内容拍摄、后期制作等工作，对VR直播的内容品 质有着决定性作用。

目前，国内外都涌现出一大批VR直播解决方案提供商，如Next VR、兰亭数字、银河威尔、我趣网、看到科 技、Insta360等。无论从VR直播内容的拍摄手法、还是分辨率的提升、社交元素的融合，都有着很大的提升。

5、广告赞助商

广告主参与到VR直播中，可为自己的产品进行推广；而主办方或运营商通过收取广告主的赞助费用，可获得 额外的收益，是一种互惠互利的行为。

广告植入有多种形式，可在VR直播现场进行产品营销，也可以在VR直播活动宣传海报或VR直播内容中植入 广告。

6、VR终端商

VR终端商主要负责VR终端设备的生产、 4 R发货以及售后服务。未来VR直播的主要终端形态有以下几y , e 4 I y * }种：

（1）手机+ A Q [ T K N $ _VR眼镜盒子

优势：轻便，便于携带，复用人手一部的手机，价格低廉。

缺点：体验依赖于手机性能和屏幕分辨率，难以满足极致体验需求。

（2）外接式VR分体机

形态：VR眼镜外接一个便携的盒子或O , z ` L , T e {手机，如华为的VR Glass

优势：体验效果优于VR眼镜盒子，因为将处理器独立出来? f n b L，头戴部分可以做得很轻便，减少了发热，佩戴更 加T X J 舒适。

缺点：因为重量减轻考虑，体积小巧，难以佩眼镜佩戴，需要支* I _ ! +持近视调节功能，但调节范围有限，对高度 近视用户不够友好。

（3）VR一体机

形态：VRe = e m G终端的显示和处理一体化。

优势：佩戴和携带都比较方便，体验效果优于VR眼镜盒子

缺点：没有剥离掉处理单元和电池，终端重量难以进一步减轻，对散热要求也较高。

4.2VR直播商业模式构想

对于运营商来说，开展VR直播业务需要与VR直播产业链上的产业伙伴深入合作，最终向用户提供VR直播服 务，他们的商业模式如下图所示：

内容提供商：负责向运营商提供VR直播内2 - _ A容版权授权，( G 5 A k运营商对内容进行} @ o 9 p l g一次性采购，或保底+分成。

VR直播商：提供VR直播服务，运营商向其单次或周期性支付直播服务费用。

云网方案商：提供VR直播云网建设方案，协助运营商建设VRK 3 J直播R 5 5 ( 0 t平台和传输网络，运营商向其采购软硬件 服务。

终端提供商：提供VR终端设备和售后服务，S , V z运营商进行批量采购。

广告赞助商：向运营商支付赞助费用，运营商为其在VR直播S J G现场或内容中进行广告投放。

电信运营商拉通L G y 4 ?产业生态方开展VR直播可以有面向不同用户群体的盈利模式：<