當前位置: 首頁 > 專利查詢>清華大學專利>正文

基于網格形變的單圖像人體三維重建方法及系統技術方案

技術編號:22503024 閱讀:7 留言:0更新日期:2019-11-09 02:51
本發明專利技術公開了一種基于網格形變的單圖像人體三維重建方法及系統,其中,該方法包括以下步驟:采集單圖片和人體模型,以及人體模型對應的初始人體三維模型,并利用初始人體三維模型構建人體模型數據庫,以作為卷積神經網絡的初始數據;對初始數據進行渲染得到卷積神經網絡訓練時的輸入圖片;利用數據流編程深度學習平臺構建卷積神經網絡,以根據輸入圖片提取出人體關節位置概率分布圖;對單圖片進行人體分割標注,得到人體分割標注圖;根據單圖片、人體分割標注圖和人體關節位置概率分布圖對卷積神經網絡進行訓練,得到最終人體三維模型。該方法可以更輕量且更好地表現人體模型細節特征,得到擁有更多三維幾何細節特征的人體模型。

3D reconstruction method and system of single image human body based on grid deformation

The invention discloses a method and system for 3D reconstruction of single image human body based on grid deformation, wherein the method comprises the following steps: collecting single image and human body model, and the initial human body 3D model corresponding to the human body model, and constructing the human body model database with the initial human body 3D model as the initial data of convolution neural network; and configuring the initial data The input image of convolutional neural network training is obtained by dyeing; the convolutional neural network is constructed by using the deep learning platform of data flow programming to extract the probability distribution map of human joint position according to the input image; the human body is segmented and labeled by single image to obtain the human body segmentation and annotation map; the convolutional neural network is constructed by using single image, human body segmentation and annotation map and human joint position probability distribution map The final three-dimensional model of human body can be obtained by training collateral. This method can be used to represent the detail features of the human body model in a lighter and better way, and get the human body model with more 3D geometric details.

【技術實現步驟摘要】
基于網格形變的單圖像人體三維重建方法及系統
本專利技術涉及計算機視覺三維重建
,特別涉及一種基于網格形變的單圖像人體三維重建方法及系統。
技術介紹
隨著計算機視覺領域中的三維重建技術的不斷發展,人體的三維重建技術成為了計算機室領域中的一個研究熱點。現實生活中,網絡上擁有大量的包含人物信息的圖片,如何利用這些圖片直接重建出相應的三維人體模型成為一個新興的研究方向。目前流行的基于單圖像的人體重建方法主要分為重建參數化人體模型以及重建基于體素(voxel)表示的人體模型。常用的參數化模型為SMPL(ASkinnedMulti-PersonLinearModel),其包含用于描述人體姿態和描述人體體型的兩套共72個參數。針對單圖片重建問題,先從圖片估計二維關節位置,再通過三維關節與二維平面關節投影距離最小來實現優化得到SMPL參數,進而得到人體。重建基于體素表示的人體模型,則是通過將空間分割為一個個小立方體,通過立方體是否被物體占用來表示三維模型。盡管基于單圖片重建三維人體模型技術已經有了很大的發展,但目前兩種流行方法仍各有其問題:重建參數化模型,導致結果對人體表面幾何細節的表現能力有限,無法很好地重建出人體表面衣物的細節紋理。基于體素表示的人體模型,則是由于目前顯存的限制,最高精度只能達到128*128*128,整體表現較粗糙。
技術實現思路
本專利技術旨在至少在一定程度上解決相關技術中的技術問題之一。為此,本專利技術的一個目的在于提出一種基于網格形變的單圖像人體三維重建方法,該方法可以更輕量且更好地表現人體模型細節特征,得到擁有更多三維幾何細節特征的人體模型。本專利技術的另一個目的在于提出一種基于網格形變的單圖像人體三維重建系統。為達到上述目的,本專利技術一方面提出了基于網格形變的單圖像人體三維重建方法,包括以下步驟:采集單圖片和人體模型,以及所述人體模型對應的初始人體三維模型,并利用所述初始人體三維模型構建所述人體模型數據庫,以作為卷積神經網絡的初始數據;對所述初始數據進行渲染得到卷積神經網絡訓練時的輸入圖片;利用數據流編程深度學習平臺構建卷積神經網絡,以根據所述輸入圖片提取出人體關節位置概率分布圖;對所述單圖片進行人體分割標注,得到人體分割標注圖;根據所述單圖片、所述人體分割標注圖和所述人體關節位置概率分布圖對所述卷積神經網絡進行訓練,得到最終人體三維模型。本專利技術實施例的基于網格形變的單圖像人體三維重建方法,利用了二維的彩色RGB圖片和經過估計得到的粗糙人體SMPL三維模型,以及設計的二維卷積特征提取網絡,對基于TensorFlow深度學習平臺搭建的圖卷積神經網絡結構進行訓練,最終得到基于網格形變得到的人體三維模型,從而可以更輕量且更好地表現人體模型細節特征,還可以通過訓練好的圖卷積的神經網絡模型驅動網格變形得到擁有更多三維幾何細節特征的人體模型。另外,根據本專利技術上述實施例的基于網格形變的單圖像人體三維重建方法還可以具有以下附加的技術特征:進一步地,在本專利技術的一個實施例中,基于雙重融合算法利用深度攝像機采集不同人體不同姿態得到所述人體模型進一步地,在本專利技術的一個實施例中,通過對所述初始人體三維模型進行預處理得到所述人體模型數據庫。進一步地,在本專利技術的一個實施例中,將所述卷積神經網絡訓練至權重值基本收斂時,得到所述最終人體三維模型。進一步地,在本專利技術的一個實施例中,還包括:將所述單圖片和對應的最終人體三維模型輸入訓練好的卷積神經網絡中,所述訓練好的卷積神經網絡輸出包含幾何細節的人體網格模型。為達到上述目的,本專利技術另一方面提出了一種基于網格形變的單圖像人體三維重建系統,包括:采集模塊,用于采集人體模型和對應的初始人體三維模型,并利用所述初始人體三維模型構建所述人體模型數據庫,以作為卷積神經網絡的初始數據;渲染模塊,用于對所述初始數據進行渲染得到卷積神經網絡訓練時的輸入圖片;提取模塊,用于利用數據流編程深度學習平臺構建卷積神經網絡,以根據所述輸入圖片提取出人體關節位置概率分布圖;分割標注模塊,用于對所述單圖片進行人體分割標注,得到人體分割標注圖;訓練模塊,用于根據所述單圖片、所述人體分割標注圖和所述人體關節位置概率分布圖對所述卷積神經網絡進行訓練,得到最終人體三維模型。本專利技術實施例的基于網格形變的單圖像人體三維重建系統,利用了二維的彩色RGB圖片和經過估計得到的粗糙人體SMPL三維模型,以及設計的二維卷積特征提取網絡,對基于TensorFlow深度學習平臺搭建的圖卷積神經網絡結構進行訓練,最終得到基于網格形變得到的人體三維模型,從而可以更輕量且更好地表現人體模型細節特征,還可以通過訓練好的圖卷積的神經網絡模型驅動網格變形得到擁有更多三維幾何細節特征的人體模型。另外,根據本專利技術上述實施例的基于網格形變的單圖像人體三維重建系統還可以具有以下附加的技術特征:進一步地,在本專利技術的一個實施例中,基于雙重融合算法利用深度攝像機采集不同人體不同姿態得到所述人體模型。進一步地,在本專利技術的一個實施例中,通過對所述初始人體三維模型進行預處理得到所述人體模型數據庫。進一步地,在本專利技術的一個實施例中,將所述卷積神經網絡訓練至權重值基本收斂時,得到所述最終人體三維模型。進一步地,在本專利技術的一個實施例中,還包括:測試模塊,用于將所述單圖片和對應的最終人體三維模型輸入訓練好的卷積神經網絡中,所述訓練好的卷積神經網絡輸出包含幾何細節的人體網格模型。本專利技術附加的方面和優點將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本專利技術的實踐了解到。附圖說明本專利技術上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解,其中:圖1是本專利技術一個實施例的基于網格形變的單圖像人體三維重建方法流程圖;圖2是本專利技術一個實施例的基于網格形變的單圖像人體三維重建系統結構示意圖。具體實施方式下面詳細描述本專利技術的實施例,所述實施例的示例在附圖中示出,其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的,旨在用于解釋本專利技術,而不能理解為對本專利技術的限制。下面參照附圖描述根據本專利技術實施例提出的基于網格形變的單圖像人體三維重建方法及系統,首先將參照附圖描述根據本專利技術實施例提出的基于網格形變的單圖像人體三維重建方法。圖1是本專利技術一個實施例的基于網格形變的單圖像人體三維重建方法流程圖。如圖1所示,該基于網格形變的單圖像人體三維重建方法包括以下步驟:在步驟S101中,采集單圖片和人體模型,以及人體模型對應的初始人體三維模型,并利用初始人體三維模型構建人體模型數據庫,以作為卷積神經網絡的初始數據。進一步地,在本專利技術的一個實施例中,基于雙重融合算法利用深度攝像機采集不同人體不同姿態得到人體模型。進一步地,在本專利技術的一個實施例中,通過對初始人體三維模型進行預處理得到人體模型數據庫。也就是說,基于雙重融合doubleFusion算法,利用深度攝像機同時采集一系列不同人不同姿勢的人體模型及對應的SMPL模型(人體三維模型),對采集到的SMPL模型進行預處理,實現模型的降采樣,從而構建人體模型數據庫作為卷積神經網絡的原始數據。在步驟S102中,對初始數據進行渲染得到卷積神經網絡訓練時的輸入圖片。可以理解本文檔來自技高網...

【技術保護點】
1.一種基于網格形變的單圖像人體三維重建方法,其特征在于,包括以下步驟:采集單圖片和人體模型,以及所述人體模型對應的初始人體三維模型,并利用所述初始人體三維模型構建所述人體模型數據庫,以作為卷積神經網絡的初始數據;對所述初始數據進行渲染得到卷積神經網絡訓練時的輸入圖片;利用數據流編程深度學習平臺構建卷積神經網絡,以根據所述輸入圖片提取出人體關節位置概率分布圖;對所述單圖片進行人體分割標注,得到人體分割標注圖;以及根據所述單圖片、所述人體分割標注圖和所述人體關節位置概率分布圖對所述卷積神經網絡進行訓練,得到最終人體三維模型。

【技術特征摘要】
1.一種基于網格形變的單圖像人體三維重建方法,其特征在于,包括以下步驟:采集單圖片和人體模型,以及所述人體模型對應的初始人體三維模型,并利用所述初始人體三維模型構建所述人體模型數據庫,以作為卷積神經網絡的初始數據;對所述初始數據進行渲染得到卷積神經網絡訓練時的輸入圖片;利用數據流編程深度學習平臺構建卷積神經網絡,以根據所述輸入圖片提取出人體關節位置概率分布圖;對所述單圖片進行人體分割標注,得到人體分割標注圖;以及根據所述單圖片、所述人體分割標注圖和所述人體關節位置概率分布圖對所述卷積神經網絡進行訓練,得到最終人體三維模型。2.根據權利要求1所述的方法,其特征在于,基于雙重融合算法利用深度攝像機采集不同人體不同姿態得到所述人體模型。3.根據權利要求1所述的方法,其特征在于,通過對所述初始人體三維模型進行預處理得到所述人體模型數據庫。4.根據權利要求1所述的方法,其特征在于,將所述卷積神經網絡訓練至權重值基本收斂時,得到所述最終人體三維模型。5.根據權利要求1所述的方法,其特征在于,還包括:將所述單圖片和對應的最終人體三維模型輸入訓練好的卷積神經網絡中,所述訓練好的卷積神經網絡輸出包含幾何細節的人體網格模型。6.一種基于網格形變的單圖像...

【專利技術屬性】
技術研發人員:劉燁斌趙笑晨戴瓊海
申請(專利權)人:清華大學
類型:發明
國別省市:北京,11

網友詢問留言 已有0條評論
  • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

1
11选五全天人工计划