摘要：可預見的未來激情賽事已經(jīng)過半，阿里云視頻技術(shù)在本次世界杯中也成功落地，而這并不是結(jié)局，這是將視頻應(yīng)用于體育行業(yè)以及更多其他行業(yè)的開端。

本屆世界杯互聯(lián)網(wǎng)直播的順利進行，離不開各大云計算廠商的支持。在這其中，阿里云是當之無愧的“C位“，除了優(yōu)酷外，阿里云還支撐了CNTV、CCTV5客戶端，為全網(wǎng)70%的世界杯直播流量保駕護航。

對于世界杯這種超大觀看量級、超強影響力的重要體育賽事，阿里云一直致力研究的AI技術(shù)一定不會缺席。

如何用AI替代傳統(tǒng)的內(nèi)容加工模式，高效地產(chǎn)出比賽集錦并將精彩內(nèi)容快速呈現(xiàn)給觀眾呢？世界杯期間，阿里云聯(lián)合阿里巴巴機器智能技術(shù)實驗室，利用“視頻AI+云剪輯+媒資管理”的技術(shù)，實時產(chǎn)生精彩集錦和球星集錦，滿足球迷們的重溫賽事和追星的需求，本文將揭曉技術(shù)實現(xiàn)過程。

首先，要做的事情是讓機器比人更懂視頻。通過對過去多屆世界杯的多場賽事，以及上萬篇足球或世界杯相關(guān)文稿的學習，阿里云視頻AI對球場、球員、比賽機制、特定行為等都有了全面的理解，所以它具備像觀眾一樣去客觀地認知和感受每一場世界杯球賽的能力。

其次，大量的標注工作也是必不可少的，包括對幀圖景深、位置、事件、紅黃牌、不同角色行為、禁區(qū)危險畫面及球星人臉的標注，也包含對音頻中關(guān)鍵詞、音頻事件等的標注。

最后，便是準確地提取“精彩”的內(nèi)容。在這個環(huán)節(jié)，算法和工程上進行了多處創(chuàng)新。包括：

1、將視頻進行多模態(tài)分析，從視頻畫面、音頻、文字等多個維度提取關(guān)鍵信息，再通過融合或者相互校驗，大幅度提高鎖定精彩內(nèi)容的準確性。

2、將音頻的信息分析和視頻行為分析結(jié)果取權(quán)重融合判斷，將視頻時域、空域網(wǎng)絡(luò)權(quán)重與音頻事件、ASR網(wǎng)絡(luò)自適應(yīng)累加，從而對射門、進球、犯規(guī)、精妙傳球等精彩鏡頭準確捕獲；同時，結(jié)合實時事件信息分析結(jié)果進行合理回溯或預測，完成事件提取，比如受傷、換人、過人等事件相關(guān)的回放、特寫、裁判行為抓取等。

3、利用多維數(shù)據(jù)進行相互校驗，結(jié)合事件回溯和預測技術(shù)，進行進一步的信息平滑處理，在直播過程中逐漸累積精彩集錦或球星集錦。

賽事精彩集錦是以比賽本身為核心，對精彩信息進行定義、提取、匯聚與展示；而球星集錦是以特定球員為核心，獲取直播賽事中與球星相關(guān)的關(guān)鍵畫面或關(guān)鍵事件。這一技術(shù)不僅能為視頻生產(chǎn)方實時提供素材，也能快速呈現(xiàn)球星愛豆的精華鏡頭，讓球迷們過足眼癮。

簡單來說，球星集錦的實現(xiàn)通過對世界杯場景進行深入理解和分析，從比賽視頻、解說詞音頻、球星庫及人物場記等各個維度進行識別與分析，并利用多模態(tài)融合技術(shù)，從而實現(xiàn)復雜場景下的集錦效果。

在視頻AI處理中，通過識別視頻中已注冊的球星并進行人物追蹤，同時做了一定程度的容錯處理和補償優(yōu)化，并針對不同位置的球星微調(diào)追蹤模型，最終對球星在視頻中出現(xiàn)的時間線、幅面坐標及置信度進行綜合的動態(tài)分析。

在解說詞AI處理中， 則使用了世界杯場景的語音識別模型，該模型對球員名稱、足球術(shù)語、解說員的語速/語氣/語調(diào)等進行了額外的訓練和優(yōu)化，尤其是在聲學模型上針對足球場景下的球場及觀眾噪聲進行了適應(yīng)性訓練，使得其最終對世界杯解說詞的識別準確率提升了超過10個百分點。

云剪輯是生成球星集錦的最后一步，它能夠接收視頻AI輸出的最終時間線，對原始素材進行剪切合并。云剪輯可根據(jù)需要來開啟并行剪輯模式，這種模式下，原始素材片段越多，剪輯倍速越高。另外，云剪輯還可接收高級剪輯參數(shù)，如在不同剪輯片段之間增加轉(zhuǎn)場，在球星首次特寫幀增加貼紙，增加背景音樂、片頭片尾等，豐富集錦的娛樂效果。

對于直播體育賽事，集錦視頻產(chǎn)出的高效性非常重要。這也是視頻AI真正可以替代人力發(fā)揮其價值的依據(jù)之一。而這對于視頻云的流傳輸、音視頻編解碼、直轉(zhuǎn)點以及云剪輯等技術(shù)能力都是極大的挑戰(zhàn)。

在保證實時性上，阿里視頻云利用直轉(zhuǎn)點技術(shù)，先碎片化進行實時多模態(tài)分析，再結(jié)合事件回溯與預估，對精彩集錦進行累積和快速調(diào)整，最終合理聚合產(chǎn)出優(yōu)質(zhì)集錦。

依靠強大的流媒體處理能力，可以保證每場比賽的精彩集錦以及所有球星集錦，在3-5分鐘內(nèi)生成，再由平臺快速發(fā)布出去。技術(shù)經(jīng)歷過無數(shù)次大“舞臺”的洗練，本次世界杯中，再一次完美地解決了這一問題。

激情賽事已經(jīng)過半，阿里云視頻AI技術(shù)在本次世界杯中也成功落地，而這并不是結(jié)局，這是將視頻AI應(yīng)用于體育行業(yè)以及更多其他行業(yè)的開端。經(jīng)歷了對世界杯如此大型賽事的穩(wěn)定保障，阿里視頻云將更成熟、穩(wěn)定地去應(yīng)對賽事場景下的視頻分析與處理。AI技術(shù)也將滲透到各個行業(yè)中，幫助用戶有效提高視頻的生產(chǎn)效率，讓內(nèi)容更快、更準、更優(yōu)。

除了視頻AI之外，阿里云在本次世界杯中用到的窄帶高清、50幀極清、CDN智能調(diào)度等技術(shù)，也為2018年的世界杯的廣大體育迷提供了更好的觀看體驗。阿里云目前已經(jīng)是國內(nèi)視頻服務(wù)體量最大的云計算公司，客戶涵蓋社交、教育、電商、游戲等，未來也將不斷致力釋放技術(shù)紅利，幫助越來越多的客戶實現(xiàn)業(yè)務(wù)飛速增長，站領(lǐng)行業(yè)“C位”。

本文作者：樰籬

閱讀原文

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。