Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537
映維網(wǎng) 2019年11月29日)當(dāng)前的AR系統(tǒng)僅追蹤稀疏的幾何特征,不計算所有像素的深度。所以,大多數(shù)AR效果都是純粹的疊加層,無法實現(xiàn)真實的對象遮擋效果。針對這種情況,F(xiàn)acebook提出了一種新穎算法,其可以將稀疏深度實時傳播至每個像素。生成的深度圖在時間空間方面十分平滑,但在深度邊緣顯示出明顯的不連續(xù)性。這使得AR效果可以與真實場景完全交互并被其遮擋。
該研究由Facebook計算機攝影學(xué)團隊研究科學(xué)家約翰內(nèi)斯·科普夫(Johannes Kopf) 和華盛頓大學(xué)亞歷山大·霍林斯基(Aleksander Holynski)聯(lián)合完成,相關(guān)論文《Fast Depth Densification for Occlusion-aware Augmented Reality(用于遮擋感知型增強現(xiàn)實的快速深度密化)》已經(jīng)公開發(fā)表。
相關(guān)論文:Fast Depth Densification for Occlusion-aware Augmented Reality
Facebook的算法使用視頻和稀疏SLAM重建作為輸入。首先,它會從光流場的梯度變化估計軟深度邊緣。由于在遮擋附近的光流不可靠,所以研究人員使用了一種全新的可靠性測量仿佛來計算正向和反向流場,并融合所得到的深度邊緣。然后,算法會細化深度邊緣,并將其與圖像邊緣對齊,從而定位深度邊緣。最后,他們優(yōu)化了傳播深度,但鼓勵在恢復(fù)的深度邊緣位置出現(xiàn)不連續(xù)性。團隊提供了一系列的真實示例結(jié)果,并演示了幾種可識別遮擋的AR視頻效果。為了定量評估算法,F(xiàn)acebook表征了使深度圖適用于AR應(yīng)用程序的屬性,并提出了新穎的評估指標(biāo)來說明效果。這家公司指出,與一組競爭性基準(zhǔn)算法相比,他們的算法具有優(yōu)勢。
約翰內(nèi)斯·科普夫(Johannes Kopf)說:“我們用SLAM來非常精確地追蹤數(shù)個點的深度,但我們同時采用一種實時光流方法來預(yù)測余下像素的運動。但由于這是一種實時方法,其質(zhì)量不足以直接進行深度預(yù)測,不過我們可以用它來確定場景中的主要深度邊緣位置。然后,我們回到這些非常精確的SLAM點,并將它們的深度傳播至所有余下的像素,但在這些恢復(fù)的深度邊緣位置停止傳播。這可以確保所有的對象邊緣都非常清晰,這非常快速,并且產(chǎn)生了非常適合AR的深度映射。因為除了這些都超級清晰的不連續(xù)處之外,一切都非常平滑。它們非常適合用來將虛擬對象插入至看似確實置身其間的場景,這是因為它們可以位于真實對象的前面或后面。我非常期待看到這項技術(shù),以及其他人正在研發(fā)的技術(shù),將如何幫助模糊真實和虛擬的界限,并令A(yù)R更為逼真 更加引人入勝。”
原文鏈接:https://yivian.com/news/69367.html
RCore 是谷歌于去年 2 月份正式推出的 增強現(xiàn)實(AR)軟件開發(fā)工具包,給開發(fā)者提供了一個開發(fā) AR APP 的平臺。
不到一個月前,谷歌正式推出 ARCore 1.7 版本,為其添加了前置攝像頭 AR 自拍能力以及動畫效果支持;而日前,谷歌又為其引入了機器學(xué)習(xí)技術(shù),使其實時自拍 AR 的逼真效果更進一步,該技術(shù)相關(guān)的文章發(fā)布在谷歌 AI 的官方博客上,雷鋒網(wǎng)(公眾號:雷鋒網(wǎng))AI 科技評論編譯如下:
增強現(xiàn)實(AR)通過將數(shù)字內(nèi)容與信息疊加到物質(zhì)世界的真實場景中,來讓人類實現(xiàn)超越現(xiàn)實的感官體驗。例如,谷歌地圖的 AR 功能,能夠在現(xiàn)實場景中疊加方向信息來為你指路。借助于 Pixel 相機中的 Playground 模式,你可以使用 AR 從不同的視角看世界。并且通過借助于最新發(fā)布的「YouTube Stories」以及 ARCore 全新的面部增強(Augmented Faces)API,你可以在自拍上添加動畫面具、眼鏡、帽子、皮膚等特效。
實現(xiàn)這種 AR 功能的關(guān)鍵挑戰(zhàn)之一,就是以合適的方式將虛擬內(nèi)容錨定到現(xiàn)實世界:這一過程需要一套能夠追蹤到每一次微笑、皺眉或假笑的高動態(tài)表面幾何結(jié)構(gòu)的獨特的感知技術(shù)。
ARCore 的 3D 網(wǎng)格以及它能實現(xiàn)的一些特效
為此,我們引入了機器學(xué)習(xí)(ML)技術(shù)來推斷近似的 3D 表面幾何結(jié)構(gòu),并且僅需要用到一個單攝像頭輸入而無需使用專用的深度傳感器。這種方法利用面向移動 CPU 界面推斷或其可用的全新移動 GPU 功能的 TensorFlow Lite,實現(xiàn)了逼真的實時 AR 效果。與「 YouTube Stories」 全新的創(chuàng)作者特效所利用的技術(shù)一樣,這項技術(shù)已通過最新的 ARCore SDK 和 ML Kit Face Contour Detection API 向廣泛的開發(fā)者社區(qū)開放。
我們的機器學(xué)習(xí)工作流由兩個協(xié)同工作的實時深度神經(jīng)網(wǎng)絡(luò)模型組成:一個是探測器,它在整張圖像上運行并計算出面部位置;另一個是通用的 3D 網(wǎng)格模型,它在探測器計算出來的面部位置上運行,并通過回歸預(yù)測近似的表面幾何結(jié)構(gòu)。精確地裁剪面部能夠極大地減少對一般的數(shù)據(jù)增強的要求,例如由旋轉(zhuǎn)、平移和比例變換組成的仿射變換(affine transformations)等,同時讓網(wǎng)絡(luò)將大部分性能投入于預(yù)測坐標(biāo)來提高其準(zhǔn)確性——這對于錨定合適的虛擬內(nèi)容至關(guān)重要。
裁剪完所關(guān)注的位置后,該網(wǎng)格網(wǎng)絡(luò)一次僅應(yīng)用于一個單幀,并利用加窗平滑(windowed smoothing)來減少面部處于靜態(tài)時的噪音,同時避免在大幅移動期間出現(xiàn)的延遲。
活動中的 3D 網(wǎng)格
針對 3D 網(wǎng)格,我們采用了遷移學(xué)習(xí),并訓(xùn)練了一個具有多個目標(biāo)的網(wǎng)絡(luò):該網(wǎng)絡(luò)能夠同時地基于合成、渲染的數(shù)據(jù)預(yù)測 3D 網(wǎng)格坐標(biāo)以及基于類似于 MLKit 所提供的帶有注釋的、現(xiàn)實世界的數(shù)據(jù)預(yù)測 2D 語義輪廓。最終的網(wǎng)絡(luò)為我們提供了基于合成數(shù)據(jù)乃至現(xiàn)實世界數(shù)據(jù)的合理的 3D 網(wǎng)格預(yù)測。所有模型都在源自于地理學(xué)多樣化的數(shù)據(jù)集的數(shù)據(jù)上進行訓(xùn)練,并接著在平衡、多樣化的測試集上進行定性和定量性能的測試。
3D 網(wǎng)格網(wǎng)絡(luò)接收經(jīng)裁剪的視頻幀作為輸入。由于它不依賴于額外的深度輸入,因而也可以應(yīng)用于預(yù)先錄制的視頻。該模型不僅輸出 3D 點的位置,還輸出在輸入中存在并合理對齊的面部概率。一種常見的替代方法就是為每個地標(biāo)預(yù)測出 2D 熱圖,但這種方法并不適用于深度預(yù)測,并且對于如此多的數(shù)據(jù)點來說,使用這種方法耗費的計算成本非常高。
通過迭代自展和精煉預(yù)測,我們進一步提高了模型的準(zhǔn)確性和魯棒性,同時也將數(shù)據(jù)集發(fā)展成為愈加具有挑戰(zhàn)性的實例,如鬼臉,拍攝角度傾斜以及面部遮擋等。此外,數(shù)據(jù)集增強技術(shù)也擴展了可用的 ground truth 數(shù)據(jù),并開發(fā)出了對攝像頭瑕疵等人工產(chǎn)品問題或極端光照條件具有彈力的模型。
數(shù)據(jù)集擴展和改善路徑
我們使用 TensorFlow Lite 進行設(shè)備內(nèi)置的神經(jīng)網(wǎng)絡(luò)推理。新推出的 GPU 后端加速能夠有效提升性能,并顯著降低功耗。此外,我們還設(shè)計了具有不同性能和效率特性的一系列模型架構(gòu),來覆蓋到更加廣泛的消費級硬件。較簡單網(wǎng)絡(luò)之間的最重要的區(qū)別就在于殘差塊(Residual Block)設(shè)計和可接受的輸入分辨率(最簡單模型中的輸入分辨率為 128×128 像素,而最復(fù)雜模型中的輸入分辨率為 256×256)。同時,我們還改變了層數(shù)以及子采樣率(輸入分辨率隨網(wǎng)絡(luò)深度的減少而減少的速度)。
每一幀的推斷時間: CPU vs. GPU
這一系列的優(yōu)化的結(jié)果就是:使用更簡單的模型帶來了實質(zhì)性的加速,同時也將 AR 特效質(zhì)量的降低幅度最小化。
最復(fù)雜模型(左)和最簡單模型(右)的比較:在簡單模型上,時序一致性以及對嘴唇、眼睛的追蹤稍微降低。
這些成果最終則能夠通過以下方式,讓用戶在 YouTube、ARCore 以及其他客戶端體驗到更加逼真的自拍 AR 效果:
另外,我們還通過以下方式實現(xiàn)了逼真的妝容效果:
案例對比: 5 個目標(biāo)在不同光線下的真實化妝效果以及 AR 化妝效果
我們很高興將這項新技術(shù)分享給創(chuàng)作者、用戶以及開發(fā)者。
感興趣的讀者可以通過下載最新的 ARCore SDK 來將這項技術(shù)用起來。
未來,我們還計劃將這項技術(shù)廣泛應(yīng)用到更多的谷歌產(chǎn)品線中。
via:https://ai.googleblog.com/2019/03/real-time-ar-self-expression-with.html
原文鏈接:https://www.leiphone.com/news/201903/fDpFYPzc23a3SUs8.html
本文來源于人人都是產(chǎn)品經(jīng)理合作媒體 @雷鋒網(wǎng),翻譯@雷鋒網(wǎng)AI 科技評論
題圖來自Unsplash,基于CC0協(xié)議。
個性化推薦的信息流中,面向新用戶時是否需要做一個前置的興趣內(nèi)容選擇進行引導(dǎo)呢?我們在天天問討論了這個問題,一起來看看吧~
新用戶需要選擇興趣分類嗎?@問多多
在個性化推薦的信息流中,面向新用戶時是否需要做一個前置的興趣內(nèi)容選擇進行引導(dǎo)呢?
還真沒見過新用戶前置興趣分類成功的案例。
分類是為了更好的分發(fā),從這個角度來說前置的分類肯定很粗,一旦粗內(nèi)容命中的受益就不明顯,同時還給了用戶門檻。不如長期的“閱讀訓(xùn)練”來的更準(zhǔn)確,但給興趣點推的還是大內(nèi)容,算法也幫不到忙。
還有一點,無論我們提供的選擇多精準(zhǔn),無論用戶選的多認真,用戶的實際行為才是最重要的,推薦的好不好,取決于用戶對內(nèi)容的理解能力。
在思考任何問題的解法時,我通常會先思考why,再是how。知道了為什么而做,才可能有實現(xiàn)目標(biāo)的機會。
如題,題主沒能給出具體想實現(xiàn)的原因。那我來做個假設(shè),并且進行推導(dǎo)演繹。
題中可以拆解出關(guān)鍵詞:新用戶、選擇、興趣分類。
新用戶選擇興趣分類是為什么?
為了更精準(zhǔn)匹配用戶和ta感興趣的內(nèi)容
匹配更精準(zhǔn)的內(nèi)容是為了什么?
為了提高新用戶的轉(zhuǎn)化/留存
提升新用戶轉(zhuǎn)化/留存是為了什么?
為了kpi?為了公司融資?為了xxx(此處不做過多闡述)
明確了目標(biāo)之后,再回來審視讓新用戶選擇興趣分類是否能達到這個目的,如果不能,是否有別的替代方案?如果能,它的內(nèi)在邏輯是什么?
接著往下分析。
從新用戶角度思考(使用環(huán)境、動機強弱、刺激/觸發(fā)物):我通過xx渠道,了解到了xxApp,通過應(yīng)用商店下載,經(jīng)過若干時間等待,我終于打開了app。
以上簡要的概括了一個新用戶到進入app的過程行為,這中間的過程,可能是連續(xù)的也可能是割裂的,但不變的是需要時間。所以在進入app時增加興趣分類選擇,一定要考慮到你的目標(biāo)新用戶大概會在哪些環(huán)境下進入app。這中間產(chǎn)生的時間和操作成本很可能就讓用戶把你拒絕了(當(dāng)然這又涉及到動機強弱,不做延展)從這點上考慮、能否達到預(yù)期目標(biāo)。以上是從使用環(huán)境考慮的過程。
從平臺角度思考(選擇的主動和被動、興趣愛好匹配):作為內(nèi)容分發(fā)平臺,必然會有內(nèi)容,用戶的屬性標(biāo)簽。題中說到新用戶,那么問題可以轉(zhuǎn)化成:當(dāng)缺少用戶屬性標(biāo)簽的時候,如何分發(fā)內(nèi)容?
這里提供兩個思路:
最后,我沒有需要或者不需要的具體答案,最終還是要結(jié)合你的產(chǎn)品、內(nèi)容、渠道、用戶等多個維度進行分析用什么方法來解決你的問題or實現(xiàn)你的目標(biāo)
不需要吧,還是要從解決的問題是什么去考慮。
問題:
針對第1個問題。在注冊過程中,一系列的授權(quán)驗證步驟已經(jīng)相對繁瑣了,此時用戶只想快點進入到產(chǎn)品內(nèi),去看去體驗,這個時候還要讓我想我要看什么內(nèi)容,我甚至不知道我選完之后是否還可以更改,就不能麻利一點快點進么,我看起來很閑么?
針對第2個問題。題目中提到個性化推薦,一個良好的信息推薦邏輯一定是各個模塊相輔相成的,閱讀偏好(點擊和閱讀)、行為偏好(評論轉(zhuǎn)發(fā)收藏)、用戶屬性(地區(qū)登錄頻次)等等,而選中的興趣只是臨時的、隨時會變的甚至是未經(jīng)思考的,所選的東西在個性化推薦邏輯內(nèi),占比極低。所以從長遠的推薦來看,也并無用處。
個人認為理想的解決方案:
做過興趣分類,我的建議是:不建議做。
在非剛需內(nèi)容情景下,前置的選項會給用戶帶來操作成本困擾+擔(dān)心隨便選會不會有什么不好的后果但又真的不想下功夫選,這一步可能攔截50%的用戶(來自我的數(shù)據(jù)),但是不提供前置選項又擔(dān)心推薦不精準(zhǔn),用戶流失率高
所以我的建議:還不如做后置選項。
初始化數(shù)據(jù)選擇熱門內(nèi)容即可,在主feed流插入選項,告訴用戶你選擇了后可以多推薦這方面內(nèi)容。
要不要選擇得看產(chǎn)品本身:
另外,就算是讓用戶選擇了分類,那么給用戶推送的內(nèi)容就限定在這些分類嗎?
人的興趣都有多面性的,用戶選擇分類不代表 ta真的對這個分類感興趣,也不代表ta對別的分類就不感情去。用戶之所以做這個選擇是因為產(chǎn)品“逼”ta做選擇。
如果只給用戶推送選擇的分類內(nèi)容,那么有可能造成兩個問題:
綜上,要不要選擇興趣分類還是要根據(jù)產(chǎn)品本身的性質(zhì)決定。就我個人觀點,我不贊成讓用戶去選,而是根據(jù)用戶的行為去分析用戶喜好也就是用戶畫像,從而做針對性的推送。
很多人并不知道自己的真實興趣,看到美女,誒呀好漂亮我關(guān)注一下,看到美食哎呀真好我先收藏哪天做做,實際只是獲取即時快感,這種快感人類在各種事物上都有。
所以我認為非常嚴肅的產(chǎn)品,類似需要檢索的,需要選擇分類。
對于一般的產(chǎn)品,先根據(jù)熱度推送大眾主流審美去測試用戶,等用戶自然選擇到足夠多的參考,后臺標(biāo)記標(biāo)簽就可以了。
更多精彩回復(fù):https://wen.woshipm.com/question/detail/h0h7ar.html
為什么每個小說的APP新用戶都要選擇性別?@白衣卿相
對于企業(yè),方便數(shù)據(jù)的收集和戰(zhàn)略調(diào)整。性別的區(qū)分,可以做到更精細化的運營,通過細化用戶畫像,讓內(nèi)容匹配適合的用戶,增加用戶的好感度提高留存率。
比如:一個美妝APP,前期預(yù)判設(shè)計一般偏女性化。如果資料數(shù)據(jù)顯示男性用戶在不斷攀升,甚至達到男女比例一比一的狀態(tài)。是否需要考慮再設(shè)計方向上考慮男性需求,比如內(nèi)容上設(shè)置男性護膚專題,視覺設(shè)計風(fēng)格上可以更往中性風(fēng)走,或者在日常push推送上做到更針對化。
對于用戶,智能快速得到用戶想要的東西,切實的實現(xiàn)產(chǎn)品的價值。
接觸過做小說的朋友。
對于小說男女的口味是天差地別,尤其是網(wǎng)文小說。所以一定要做分流,但是用什么方法是個問題,其中成本最低的就是性別分流了。(至于選tag是最不可取的,時刻記住用戶是懶的)
更多精彩回復(fù):https://wen.woshipm.com//question/detail/74rdid.html
你的想法是?歡迎來天天問和小伙伴們繼續(xù)交流噢~
【天天問每周精選】第92期:作為運營/產(chǎn)品經(jīng)理,你最討厭什么樣的用戶?
【天天問每周精選】第91期:抖音適不適合增加一個彈幕功能?
【天天問每周精選】第90期:微信讀書為什么要設(shè)計替身書架?
【天天問每周精選】第89期:周杰倫新歌上線,為什么單曲收費,高清MV卻免費看?
【天天問每周精選】第88期:點外賣為什么必須要「選擇性別」?不敢選性別女……
【天天問每周精選】第87期:功能更新了卻沒用戶用,是不是做得沒意義?
精選問題每周有,歡迎食用~配合回復(fù)味道更佳(∩_∩)
本欄目由天天問小編 @Tracy 編輯,歡迎大家踴躍提問,一起交流。
題圖來自Unsplash,基于CC0協(xié)議
*請認真填寫需求信息,我們會在24小時內(nèi)與您取得聯(lián)系。