从系统开通试运行至今近三年,总局广播电视节目收视综合评价大数据系统对行业产生了深刻影响。该系统的核心架构是怎样的?系统突出创新和关键应用如何?下一步工作重点是什么?近日,《广电时评》记者对总局广播电视规划院节目综合评价大数据研究中心负责人进行了专访。
“嗡嗡嗡。”
走进总局节目收视综合评价大数据系统的通讯网络机房,轰鸣的空调声响让录音笔罢了工。
总局节目收视综合评价大数据系统的通讯网络机房。
一排排机架上,数百台服务器、交换机、路由器高速运转着,无数数据以二进制形式在这里汇集、储存、运算,它们最终成为收视表上一串串专业的数字。
节目综合评价大数据研究中心负责人说:“全国超过3亿(有线电视、IPTV、互联网电视)用户收视数据汇聚在此,这里相当于整个系统的‘大脑’和‘库房’。”
2018年12月26日,总局广播电视节目收视综合评价大数据系统开通试运行。近三年来,依靠真实无污染的收视统计数据和分析,系统为舆论引导、节目播出管理等提供了重要支撑,也成为电视台等单位日常考核、广告招商等工作的主要参考。
“国家队数据”“无污染数据”“脱水数据”等,是行业对收视综合评价大数据系统的基本认知,但关于这套系统如何创建、如何运转、有哪些创新特色等深入问题,所涉不多。近日,《广电时评》记者对总局广播电视规划院节目综合评价大数据研究中心负责人进行了专访,揭秘这套系统的源起、运行、发展。
上线:一次从源头治理收视造假的重要举措
节目收视综合评价大数据系统的第一次亮相是在2018年年底。但在更早的2016年,广播电视规划院就在国家广电总局的领导下,牵头组织多家广播电视台、网络运营商、科研院所、高校、企业,陆续开展了收视核心技术研发、标准制定、小范围规模实验等工作。
总局广播电视节目收视综合评价大数据系统开通试运行。
该负责人表示,长期以来,党中央高度重视收视调查体系建设,要求建立权威、有说服力的新型收视调查体系,促进广播电视事业高质量创新性发展。总局党组认真贯彻中央决策部署,把建设节目收视综合评价大数据系统作为贯彻落实中央精神的重要举措。
同时,权威的节目收视综合评价大数据系统建设也是行业的大势所趋。社会各方呼唤新型收视调查体系的尽快建立与全面应用,从源头上解决收视调查领域突出问题。
在此背景下,节目收视综合评价大数据系统应运而生。
攻坚:三阶段完成系统搭建
从0到1,创新搭建。
节目收视综合评价大数据系统抛弃传统的收视调查模式,创新建设了一套以云计算、全网络、全样本、大数据为重要特征的新型大数据收视调查体系。
该负责人直言,“非常难,从数据接入、到系统搭建、模型和指标设计到系统上线,都是从零开始的”。
自2016年起,系统的建设历程以不同时期、不同攻坚重点,主要分为三个阶段。
第一阶段,广播电视规划院牵头相关单位开展收视调查核心技术自主研发,制定并发布收视数据元素集、交换接口、清洗规则等多项行业规范,自主掌握了一批核心技术专利和软件著作权。
同时通过研究大数据收视调查理论,确定了指标体系和计算方法,解决新情况下收视大数据样本分析、统计规则和处理方法、数据建模和分析的问题。
第二阶段,规划院组织多家有线电视网络、IPTV和互联网电视机构,开展了千万级规模的技术实验,验证了第一阶段形成的大样本收视调查的基础理论、技术方案、指标体系、调查标准、模型算法以及质量控制、安全与隐私保护策略等的合理性和可行性。
本阶段实验获得专家高度评价,一致认为“可以满足对超大规模、多源异构收视数据分析与节目综合评价的需要” 。
第三阶段,2018年下半年,广电总局决定在前期规模试验和反复试算的基础上,由规划院开展“广播电视节目收视综合评价大数据系统”建设工作。
“从课题研究到实验验证,再到系统建设运行,凝聚着许多工作人员的付出和心血。”该负责人说。
于行业而言,系统的建成和投入运行,对于建立科学、真实、有效的收视评价体系,从根本上解决收视率造假问题,发挥了重要作用。
架构:五个特色强化服务管理
节目收视综合评价大数据系统是怎样运行的?
该负责人介绍,收视大数据处理过程中,涉及收视大数据采集、清洗、入库、分析、应用等环节,“整个流程有点像做菜”。
系统的运作流程为——用户收视数据由运营商(如歌华有线等)从机顶盒直接采集,通过安全通道传送至收视综合评价大数据系统。系统在对海量数据进行采集汇聚、清洗转换之后,开展建模、统计、分析等工作,输出大数据收视调查指标。
整个流程中无人为干预环节,在关键的数据采集阶段,系统设置有规范性核查、完整性核查、合理性核查的三级校核机制,有效防止数据无染。
综合而言,大数据系统的创新点可以概括为五个方面:
一是样本全、覆盖广,海量数据源。系统现已实现全国3亿有线电视、IPTV、互联网电视用户收视数据的汇聚分析,涵盖直播、回看、点播等多种收视方式。
二是大数据、云计算,高效处理精准到户。系统基于大数据、云计算技术,高效及时地统计超大规模收视数据,分析精准到户,既可以反映热门节目、黄金时段的收视情况,又可以精准捕捉小众节目、边缘时段的收视特征。
三是防操纵、抗污染,根本解决收视造假。系统数据采集、清洗、分析、呈现各环节无缝衔接,全流程自动化、封闭化处理,防范人为操纵。系统基于海量大数据统计,个体样本数据污染对统计结果的影响可忽略,系统抗污染能力强。
四是多维度、全方位,融合分析引领发展。系统创新性地建立了涵盖八方面超过80项核心指标的收视大数据指标体系,通过对收视数据深度挖掘、及时反馈,指导内容选题、素材集成、需求组合、分析预测、创作生产,转变传统节目生产方式,有效引导行业健康发展。
五是全媒体、开放性,预设未来全新定位。系统适应媒体融合发展和传播格局、传播环境的新变化,持续丰富电视收视数据来源,将全面覆盖有线电视、卫星直播、IPTV、互联网电视以及网络视听领域等不同传播渠道,并提前预设了全国有线电视网络整合和5G移动应用大趋势下的新定位、新模型。
影响:以数据促进行业发展
节目收视综合评价大数据系统试运行之初,不少媒体评价“以釜底抽薪的方式,对行业收视问题进行了整治”。
运转至今,系统对行业的积极影响已然显现。
据负责人介绍,目前系统已经向中央领导、中宣部、行业主管部门、全国电视台等输出各类专业数据分析报告超3万份,支撑宣传调控,助力电视台的创作生产和播出管理,获得多方肯定。
通过数据查询分析或数据报告呈现等形式,为中央广播电视总台、中国教育电视台、电影频道以及全国上星卫视频道提供全面数据支撑,并成为日常节目考核的主要数据。
2019年12月17日节目综合评价大数据研究中心正式以“中国视听大数据(CVB)”品牌向社会公布收视数据,CVB数据发布后,得到了社会大众好评,对广电总局出“组合拳”“重拳”治理收视率造假一片叫好。
“中国视听大数据(CVB)”向社会公布的第一份收视数据。
2020年底,由广播电视总局制定,经国家统计局批准并发布《广播电视节目收视大数据统计调查制度》,广播电视行业成为第一个以大数据方式开展政府部门统计调查的行业。
谈及下一步的工作重点,该负责人介绍,目前节目综合评价大数据研究中心有五十名左右员工,分别负责数据的接入、分析,数据报告的编制与发布,舆情分析,数据应用推广等工作。
在现有工作基础上,接下来规划院将依托大系统资源,推动实施“广播电视节目收视综合评价大数据系统扩容”工程,提升系统数据汇聚规模,优化数据全链条机制,完善数据全生命周期质量,确保数据采集与汇聚的准确、完整和及时,保障数据发布与应用的真实、客观和有序。
随着收视环境的多屏化,规划院将加快推进互联网电视和互联网视听网站的数据接入,构建面向网络视听领域的数据指标体系,实现网络视听收视数据的有效汇聚和分析,全面发挥“中国视听大数据”作用。
日前,国家广播电视总局发布《关于进一步加强文艺节目及其人员管理的通知》,通知明确提出:“科学看待收视率、点击率等量化指标,加大‘中国视听大数据’推广应用力度。”
对于新要求,该负责人说,“我们将持续优化完善节目收视综合评价大数据系统,更好地服务宣传管理,支撑行业发展,为优质节目的传播实现全面、多样化的数据支持。”