圖為：北京美攝網(wǎng)絡(luò)科技有限公司研發(fā)副總監(jiān) 劉路偉
 

2017年是視頻領(lǐng)域百家爭鳴的階段，短視頻工具、短視頻社區(qū)等都是大家耳熟能詳和日常生活中使用的。2016年底出現(xiàn)了一款名為“抖音”的短視頻產(chǎn)品，當(dāng)時比較火爆。大家都有一個疑問：抖音這種火爆產(chǎn)品是否是曇花一現(xiàn)?現(xiàn)在已經(jīng)2019年了，抖音并沒有像當(dāng)時預(yù)期的一樣曇花一現(xiàn)，而且現(xiàn)在非常好。可以看一下短視頻的占比，從最開始的百分之幾到現(xiàn)在的百分之十一點(diǎn)四，說明短視頻迎來非常廣闊的發(fā)展前景。
 

美攝科技是2014年左右成立的，核心成員已經(jīng)擁有超過20年的視音頻領(lǐng)域研發(fā)經(jīng)驗(yàn)。眾所周知，視音頻領(lǐng)域研發(fā)門檻很高，如果一家新興公司想要標(biāo)榜火山或者是快手等主流視頻廠商，想從零自研視音頻技術(shù)，無論是從人力還是物力方面來講都是比較困難的。美攝科技目前所做的就是為客戶提供一套完整的解決方案，能快速靈活的接入進(jìn)去，低功耗穩(wěn)定的實(shí)現(xiàn)它們所需要的主流視音頻功能。
 

美攝的視音頻解決方案能實(shí)現(xiàn)哪些功能
 

對于需要視頻處理的用戶來說，最基本的需求功能就是視頻拍攝和編輯功能。視頻拍攝就是從采集階段加入一些特效、人臉貼紙、背景摳像等技術(shù)生成源視頻文件，編輯端可以添加字幕、特效濾鏡、轉(zhuǎn)場、主題等等，最終輸出一個完整的效果。在基礎(chǔ)的拍攝和編輯模塊之上，還支持了其他幾個模塊。粒子特效模塊就很像抖音里的“控雨”或者“噴火”效果。
 

AI智能視頻模塊目前應(yīng)用的領(lǐng)域主要是給手機(jī)廠商做些智能相冊，通過對視音頻去人工智能的處理，生成它想要的結(jié)果。人臉特效模塊目前使用比較多的是直播、短視頻，女性可進(jìn)行瘦臉、大眼、美顏美膚等操作。青年朋友還會有更多玩法，如添加面具、添加動物的假臉進(jìn)行互動。
 

VR模塊也是主流功能，有些客戶需要360度全景視頻，也可以支持對它進(jìn)行編輯，然后輸出。特效定制是根據(jù)不同的客戶有不同的需求相應(yīng)的去做定制化開發(fā)服務(wù)。
 

這些解決方案美攝在技術(shù)層面是如何做到的
 

美攝科技SDK的流媒體技術(shù)架構(gòu)是指在一個流媒體上下文，可以當(dāng)作美攝科技API的入口，所有數(shù)據(jù)結(jié)構(gòu)的創(chuàng)建、所有API的調(diào)用基本是從它發(fā)起。還有時間線的概念。時間線在采集和編輯線是貫穿始終的，從產(chǎn)品角度來講，它應(yīng)該是視頻編輯的一條主線，在這條線上可以添加視頻軌道、音頻軌道，從而達(dá)到視頻的播放、采集的效果。在視頻軌道上可以添加視頻源，視頻源對應(yīng)每個視頻的片段，可能是一個電影、一個音頻、一個視頻的部分，也可能是整個視頻。在視頻片段過程中可以添加“轉(zhuǎn)場”，“轉(zhuǎn)場”在視頻領(lǐng)域來說是從一個視頻跳到另一個視頻，中間可能會有動畫效果。對視頻片段和音頻片段支持剪切、移位等對應(yīng)操作。時間線從剛才的流媒體上下文生成后，在它內(nèi)部可以添加視頻軌道和音頻軌道，在軌道上可以添加視頻片段，從而達(dá)到視頻貫穿始終，逐幀播放、逐幀渲染，在時間線軌道上可以添加一些特效。
 

從美攝科技的角度來說，音視頻特效包括變音、包括視頻的一些動畫效果，視頻中間可以添加轉(zhuǎn)場，視頻上面可以添加字幕，字幕可以應(yīng)用一定的字幕樣式，可以更改字體、大小、挪動位置等，可以把當(dāng)前的主流玩法加入這里，變成一個貼紙，像是LOGO的樣子，打到視頻里去。主題相當(dāng)于是特效包裹的結(jié)合，可以對編輯的視頻應(yīng)用一個主題，主題內(nèi)部套用音視頻動效等5個效果。所有的特效都是支持內(nèi)嵌和支持資源包的，資源包的效果可以從SDK外部引入一個包裹，這個包裹可能是美攝科技制作，也有可能是用戶自己制作，通過工具轉(zhuǎn)為包裹，從而在視頻采集和編輯中看到自己的資源包效果，這是整個美攝科技SDK流媒體處理的基本情況。在做視頻解決方案研發(fā)時，面對安卓機(jī)器海量機(jī)型，甚至有一些印度的客戶低端配置安卓機(jī)型。如何讓這些手機(jī)做到同樣高效、高質(zhì)量的處理，這也是美攝科技一直在解決的問題。經(jīng)過不斷地研發(fā)積累，現(xiàn)在美攝科技SDK支持對于不同的手機(jī)可以選擇不同自定義的級別，包括碼率、分辨率等等，所以能夠達(dá)到很好的處理效果。

從產(chǎn)品角度上來說，美攝科技SDK發(fā)展至今，雖然才短短一年多時間，但服務(wù)的客戶都是各行業(yè)領(lǐng)域頭部大廠，如OPPO、VIVO、獵豹移動、嗶哩嗶哩、咪咕、映客、知乎、芒果TV、KEEP、房天下、小紅唇、Amazer、Loopnow等。針對于不同的客戶如何滿足不同的需求呢?這跟產(chǎn)品設(shè)計(jì)、研發(fā)設(shè)計(jì)上的模塊化功能是分不開的。要降低每個模塊之間的耦合程度，在用戶需要特定的方案時，能夠把這些他需要的功能拼接成一個他想要的效果，并且保留比較低的包的尺寸。因?yàn)榘某叽缡且苿佑脩羰滓紤]的問題，美攝科技包的尺寸大概在3.5兆左右。支持特效、字幕、貼紙、主題、濾鏡等等。可以由用戶自定義開發(fā)，然后提供拓展、提供工具、提供模板。用戶的設(shè)計(jì)人員也可以根據(jù)自己的需求去設(shè)計(jì)出自己滿意的資源。還支持LUT濾鏡，在設(shè)計(jì)時可以把原視頻顏色映射到另外的顏色，實(shí)現(xiàn)高效率的濾鏡效果。還有一個customvideoEx，包括剛才提到的形式和人臉貼紙和粒子特效。
 

EffectSDK的新玩法
 

以上主要說的是美攝科技流媒體SDK的形式。最新推出的一個叫EffectSDK，這兩個區(qū)別在哪里?流媒體SDK是輸入到輸出去處理。而EffectSDK可以把美攝科技的SDK作為一個渲染的中間件，通過美攝科技去做一定的預(yù)處理之后，再輸出給其他需要渲染結(jié)果的接收地，從而達(dá)到中間件的渲染效果，它支持流媒體相關(guān)的功能。
 

最近美攝科技推出的服務(wù)器端新產(chǎn)品已經(jīng)上線。比如前一段比較火的軍裝照，對人的面部進(jìn)行自動處理與預(yù)設(shè)背景結(jié)合生成一個場景圖片。也可以上傳視頻，根據(jù)視頻的內(nèi)容進(jìn)行結(jié)合生成一個有意思的結(jié)果出來。現(xiàn)已在微信端應(yīng)用了，未來會上到云的部署去做更多更好的優(yōu)化。服務(wù)器端處理流程是用戶向服務(wù)器端發(fā)送請求，服務(wù)器給提供功能方案，中間有些數(shù)據(jù)的交互，用戶可以根據(jù)這些方案選擇想要的素材，這些素材包括特效效果，濾鏡、主題、貼紙等等，等于把所有移動端做的事情放到服務(wù)器端去做，最終生成一個產(chǎn)品的效果，這是一個比較新的玩法。
 

云端處理做了哪些技術(shù)架構(gòu)
 

技術(shù)是一個CS架構(gòu)，在云端部署一些服務(wù)器，在客戶端和服務(wù)器中可能有些交流的組件，從而達(dá)到多個用戶同時做視頻處理的功能。這是目前可以支持的服務(wù)器端的一個玩法，可以制作音樂相冊，可以對視頻進(jìn)行高級編輯，高級編輯有兩方面，一種是在特效上有更多玩法，另一種是在分辨率和碼率支持更高質(zhì)量，最高可以支持到8K，如果用戶達(dá)到一定規(guī)模，也可以去部署自己的私有服務(wù)器。既然視頻都可以處理，圖片美化也都可以做到。包括在上層處理時，圖片和視頻對于用戶來說是一致的，我們對單一圖片做成視頻，視頻上有運(yùn)動軌跡，像特效一樣支持定制化模板，用戶可以部署自己的云端服務(wù)，達(dá)到想要的效果。
 

云端服務(wù)未來可能會服務(wù)于哪些客戶
 

目前在微信公眾號已經(jīng)實(shí)現(xiàn)了這個功能，未來電視、教育行業(yè)、電商、手機(jī)廠商等等是不是也有應(yīng)用云端部署的場景，這也是美攝科技思索的一個方向。