技術(shù)支持
來源:光虎
體育運動技術(shù)是靠商業(yè)驅(qū)動的。錯過一個電話動輒造成成百上千萬元的損失。誰不想在體育運動中勝者為王呢,而大多數(shù)老板和運動員認為,裁決賽事結(jié)果最公平公正的方法就是靠視覺技術(shù)。此外,娛樂也是一大驅(qū)動因素。
發(fā)展歷史簡介
在賽跑項目中用照片定勝負拉開了體育賽事中使用視覺技術(shù)的序幕。20世紀30年代,賽馬項目為判定勝負首次使用了用膠卷攝錄的膠帶攝像機,其他賽事也漸漸采用這項技術(shù)。
20世紀60年代,棒球運動中使用雷達來追蹤球速。很久以后,網(wǎng)球運動中也采用了這項技術(shù)來追蹤發(fā)球速度。當(dāng)時這類應(yīng)用更多的是為了娛樂。到了20世紀80年代,網(wǎng)球運動中首次采用了一個依托于光束的電腦系統(tǒng),名為Cyclops。讓這個系統(tǒng)來當(dāng)電子司線員,即使是像約翰·麥肯羅這樣的人也沒理由雞蛋里挑骨頭了。直到21世紀初期,數(shù)碼攝像機才在這個應(yīng)用方向上發(fā)力,而且成為了改變賽事規(guī)則的重大革新,為各個體育運動領(lǐng)域和相應(yīng)的娛樂領(lǐng)域打開了新世界的大門。
人們最早使用多臺相機,讓它們保持嚴格同步時使用的是三角測量法,來在視覺上實現(xiàn)全三維場景重建。后來這就構(gòu)成了像虛擬現(xiàn)實、混合現(xiàn)實和增強現(xiàn)實這樣的容積捕獲類應(yīng)用領(lǐng)域的基礎(chǔ)——似乎體育運動和這類應(yīng)用領(lǐng)域之間的界線正在變得越來越模糊。憑借著這樣的3D場景,就沒什么想像空間可言,也幾乎不會有爭議了。
除了自動裁判這個應(yīng)用方向以外,表現(xiàn)分析已經(jīng)成為這類技術(shù)的一個重要應(yīng)用方向。對運動員在比賽過程以及訓(xùn)練過程中的追蹤會極大地提高其場上表現(xiàn)。在棒球練習(xí)中,可以全三維捕獲投球手、擊球手和球的運動,并對其進行大量分析,來確定場上取勝的訣竅,甚至可以以微秒級精度偵測到球速為90mph的變速球的旋轉(zhuǎn)運動。如今,追蹤姿勢、運動員速度、射門速度等現(xiàn)場表現(xiàn)都已成為體育運動的標(biāo)準組成部分。
最后,如我們在一些NBA和NFL直播中看到的那樣,有人在將同樣的技術(shù)用于純娛樂用途,比如允許用戶繞著場上的物體自由旋轉(zhuǎn),以獲得半虛擬現(xiàn)實體驗。
挑戰(zhàn)
歸根結(jié)底,所謂的挑戰(zhàn)基本上就在于生成精確的3D場景。為了獲得最佳精度,會要求從多臺相機采集到的圖像之間要實現(xiàn)嚴格的、微秒級的計時同步。會要求在各種光照環(huán)境下保證出色的圖像質(zhì)量。有些應(yīng)用方向要求圖像必須擁有高分辨率,幀率還得毫不遜色。會要求相機設(shè)置能橫跨一大片區(qū)域,把整個體育場包含進去,所以對于系統(tǒng)安裝和維護來說,最簡單的方案最受青睞。為了獲得最佳精度,一個完整的系統(tǒng)需要使用多臺相機。最后,在大多數(shù)應(yīng)用中,成本會是一個重要因素。
10GigE和25GigE相機如何處理這個難題
Emergent在運用包括PTP和硬件觸發(fā)在內(nèi)的各種方法來同步相機方面擁有極其豐富的經(jīng)驗,可以輕而易舉地實現(xiàn)微秒級精度。
IEEE 1588精密時間協(xié)議(PTP)
Emergent相機只使用Sony、Gpixel和AMS這種一流供應(yīng)商供應(yīng)的最好的傳感器,想方設(shè)法將這些傳感器的性能發(fā)揮到極致。因此,動態(tài)范圍得以改進,而動態(tài)范圍對體育運動這個應(yīng)用方向而言十分重要,因為經(jīng)常需要處理不斷變化的光照條件。
目前Sony IMX253(12MP @ 80fps)和Sony IMX255(9MP @ 110fps)是最受體育運動領(lǐng)域歡迎的傳感器,不過像Sony IMX342(31MP @ 35fps)、Gpixel GMAX0505(25MP @ 75fps)和AMS CMV50000(50MP @ 30fps)這樣有更高分辨率的傳感器現(xiàn)在也逐漸興起了。
Emergent剛剛發(fā)布的六個新相機型號,使用了Sony第4代傳感器,像素從5MP到25MP,幀率從269fps到98fps。為了擁有絕高速度,這些傳感器使用了最高速的SLVS-EC接口(5GHz),而Emergent是第一家依托這些突破性傳感器的全力支持,走向市場的廠家。
更高的幀率和分辨率自然會要求使用更高的帶寬接口,這樣才能在無限次錄制中保持性能。Emergent還提供十分前沿的10GigE和25GigE相機接口支持。
廣播類應(yīng)用正在向依托以太網(wǎng)技術(shù)轉(zhuǎn)變,取代過時、有諸多限制、成本上還不怎么合算的SDI技術(shù)。符合SMPTE ST 2110標(biāo)準就是一種額外優(yōu)勢,讓相機與新時代接軌。
通過使用低廉的SFP+和SFP28收發(fā)器,GigE線纜幾乎可以做到無限長。相較之下,與之最接近的CXP線纜中,CXP6和CXP12可以分別達到72m和30m長,若想再長些,就得使用昂貴的光纖適配器。
如前所述,使用膠卷攝錄的膠帶攝像機曾被用在由照片定勝負的比賽項目中。時至今日,通常是線掃相機取代了這一角色,比如Emergent的LR-8KG和LB-8KG。相機會被垂直定向放置,精確而持續(xù)不斷地掃描著終點線。當(dāng)運動中的物體跨越終點線時,會對運動物體掃描,而且這個場景的靜態(tài)畫面不會發(fā)生改變。
有些人希望安裝牢固,那么網(wǎng)絡(luò)交換機會發(fā)揮出巨大的作用。在多相機設(shè)置中,由于跨行業(yè)使用,人們認為這種設(shè)備的成本很低而且還在不斷降低。使用交換機有以下三個主要原因:
PTP分配
如圖,可以輕松把一個高精度PTP主時鐘分配到通過交換機連接的所有設(shè)備上。
IEEE 1588精密時間協(xié)議(PTP)
相機/設(shè)備多路復(fù)用技術(shù)
10個像HR-12000-SC這樣的10GigE相機可以多路傳輸?shù)揭粋€單獨的100GigE鏈路,傳回到插著單接口100GigE網(wǎng)卡(NIC)的服務(wù)器。對于使用的服務(wù)器PCIe插槽(用來插網(wǎng)卡的)有限的系統(tǒng)來說,這是很有必要的。掂量一下,在10臺相機配1臺PC的應(yīng)用中,要用5個雙口10GigE網(wǎng)卡,由于插槽數(shù)量更多導(dǎo)致服務(wù)器成本增加,而且5個雙口10G網(wǎng)卡比1個單口100G網(wǎng)卡成本要高。
冗余
考慮到多路復(fù)用,如果帶100G網(wǎng)卡的單獨服務(wù)器不能使用了,那么快速轉(zhuǎn)換到一個類似的冗余服務(wù)器幾乎可以實現(xiàn)停機時間為0。再者,用數(shù)量更少、速度更快的鏈路執(zhí)行冗余,比如1個100G鏈路和10個10G鏈路相比,需要的交換端口要少很多。
10GigE和25GigE相機用于體育運動領(lǐng)域的優(yōu)勢
>> 超高數(shù)據(jù)傳輸速率/幀率
>> 各種配件和線纜可供選擇,滿足不同的長度需求
>> 提供相機網(wǎng)絡(luò)支持以及包括PTP支持在內(nèi)的多相機精確同步方法
>> 運用多播視頻技術(shù)
>> 低CPU開銷、低延遲、低抖動(利用Myricom公司的MVA技術(shù)和Mellanox公司的VMA技術(shù))
>> 每臺PC可配相機數(shù)量最多
>> 性價比極具競爭力
>> 符合IEEE和AIA標(biāo)準,行業(yè)認可度高
【來源:加拿大Emergent公司】