电话:86 0755 89586630

传真:86 0755 28904939

公司地址:深圳市龙岗区中心城风临国际A座2211室

工厂地址:中国 广东省东莞市清溪镇罗马路罗马二桥241号

邮编:518000

企业官网:http://www.oxkseal.com

新闻中心
虚拟试衣:Virtual Try-on Network系列工作
时间:2020/10/9 4:26:00 来源: 作者: 点击: 次

序言:原来在知乎上用Markdown LaTex编写的软件无效了,略微调整了下长公式计算,短的标记也不一一改动了。最好访问感受见:http://grayxu.cn/2019/07/30/VITON/

详细介绍

文中关键讲在3D虚拟试衣这一每日任务上2个实际效果比较好的工作中。主要是几篇文章内容,一篇是VITON: An Image-based Virtual Try-on Network发于CVPR 2018,另一篇是Toward Characteristic-Preserving Image-based Virtual Try-On Networks多见ECCV 2018。

每日任务

现况与挑戰

虚拟试衣(Virtual Try-On)的有关工作中有很多。目前市面上的商业商品基础是转化成一个身体的三d model,在这个model上开展衣服的试衣服,优势便是优化算法很平稳,但界面的真实有效就无法得到确保(不足sharp),并且扫描仪三d等实际操作花销也大(或是只有手动式输入大约数据信息)。3D上做变换的传统式互联网在衣服有很大变形的状况下实际效果都很槽糕,限定了pose
在训炼的数据上,得到 paired数据信息的挑戰也非常大,必须女模特一样姿势穿俩件衣服。

这系列产品的方式优势

总体来说,总体目标是期待可以输入一个随意姿势随意衣服的人$I_i$,一个衣服图片$c_i$,最终能輸出一个衣着这一件衣服的人。另外衣服上的细节,身体不被遮盖的细节都可以被储存出来。这系列产品方式的時间花销相对性很大,流程也不便,但转化成实际效果不错较平稳,应用的Refine Network等方式来管束衣服的细节保存。

VITON

由于前文论述的数据过度难造,文中则還是期待根据现有的女模特图片来开展训炼,但那样潜在性的难题是输入的图片经历强的监管导致过拟合。因此 在输入上先开展一个Stage 0的数据信息准备工作。



如圖所显示,根据输入的$I_i$检验出其Body shape(多通道),pose map(18个pose,18个安全通道),扣图获得的人的识别图(三安全通道RGB,这儿应用了面部和秀发,实际上还可以包含其牛仔裤子等不期待被更改的一部分)。根据那样的实际操作来降低输入图片的参照幅度。每一个输入map的尺寸均为256*192



如下图所示,VITON互联网关键分成2个一部分。第一个一部分输入的是规范的待穿衣服图片$c_i$,和身体如上分割获得的22个安全通道的特点信息内容$p$,输入一个类U-Net的Encoder-Decoder实体模型,輸出一个生成的穿特定衣服的人图$I'$和衣服的Mask,$M$意味着的是形变以后的衣服图片。
在这个Stage中,必须测算的Loss为$I'$和$I$的Perceptual Loss,转化成Mask$M$和真正Mask$M_o$的L1 Loss。$I$是原本就会有的数据,$M_o$则来自于数据上的扣图解决。

最终的Loss为:

在这个Stage 1转化成的图片经常难确保待穿衣服的细节信息内容,则进到Stage 2。



如下图所示,根据Stage 1转化成的$M$和初始规范衣服图片的Mask来测算TPS转换的主要参数,将这套主要参数应用到规范图片上,转化成一个形变衣服图$c'$。对Stage 2的互联网$G_R$输入形变衣服图片和Stage 1转化成的基本結果$I'$,輸出一个组成mask$alpha$,来组成二张图片转化成refined result $hat{I}$,即 。
运用Perceptual Loss来提升$G_R$,此外,对组成mask释放一个L1 loss和Total Variation Norm,促使最终Stage 2的提升总体目标为:

实际完成细节与量化分析結果不表,但因为全部互联网是2 Stage的(实际上算上分割面部,是三个流程),又应用了TPS等优化算法,总体的時间花销较为大,一张图在K40上大约必须0.6秒。

CP-VTON

CP-VTON根据前边这一工作中,提升了一个“GMM控制模块”降低了测算量,应用一个互联网来仿真模拟TPS转换全过程,另外改进了衣服细节的保存实际效果,修补了coarse-to-?ne strategy对misalignment不足鲁棒性的难题。



如下图所示,为CP-VTON的网络结构。数据信息提前准备的全过程是和上文相近的,但互联网已不是一个輸出mask和基本結果的多个任务互联网。在Stage 1中,先向输入的2个map开展卷积和获取高维空间特点,随后根据一个correlation layer综合性后再次卷积和輸出,輸出一套转换主要参数$ heta$,应用这套主要参数对衣服图片$c$开展TPS转换。
提升的loss为转换后的衣服图片$hat{c}$和抠出来的衣服图片$c_t$的L1 loss。即

在Stage 2中用类U-Net互联网,输入人的特点$p$(与上文的22安全通道一样)和形变后的衣服图片,輸出一个组成mask和基本图片$I_r$。再应用组成mask对$I_r$和形变衣服图$hat{c}$开展组成。应用L1 Loss和Perceptual Loss 则Stage 2的Try on Module的Loss为:

实际网络结构不表。

在Loss的设计方案上取消了前边工作中应用的TV光滑,反倒用其做为一个测试标准,觉得有点儿不对劲,看github上的issue的确加了TV loss后立刻崩坏三。。实际效果有较为显著的提高,但针对有身体挡住到衣服的图片主要表现并不太好,应该是应用mask的拼凑方式针对这类状况不足鲁棒性。文中沒有得出详细的极限速度,小编的实体模型仍在训炼中。

Adversarial Training?

一般来说,在这类image translation的每日任务里加抵抗loss都能合理提高图象的真实性(及其转化成图象的多变性)。在文中的试验一部分表明抵抗训炼具有的实际效果并不显著。
~~没把Adversarial加上,假装insightful,,和 SeqGAN一比高下立判。~~

To Conclude

尽管方式是多步,并且好多个加管束的方式(抠pose抠shape)都看起来挺暴力行为的,但实际效果的确棒,测算全过程尽管如今看上去不便,但或许之后就会有更强的近似算法来开展提升…第二篇文章内容试验一部分论述很大。

Thin Plate Spline

TPS转换是一种插值法方式。传统式的插值法方式如双线性插值,只是可以确保投射前后左右的图片有四个测量点被精确投射。TPS则根据歪曲图片来确保有好几个点可以另外被投射,另外降到最低弯折动能。


实际优化算法內容参照:Thin Plate Spline -- 百度百家:今日又密码忘了

Perceptual Loss

Perceptual Loss是应用pre-trained VGG来对图片获取特点,应用好几个浅部的輸出激话值来测算MSE。来自于Style Transfer



Correlation Layer

源于FlowNet,关键便是测算2个feature map的correlation,实际的测算全过程类似conv,解析xmlf1上的patch对f2上每一个很有可能部位一样尺寸的patch做配对(即卷积计算),具体完成的时候会对配对范畴和stride开展限定。

Reference

VITON: An Image-based Virtual Try-on Network,Xintong Han, Zuxuan Wu, Zhe Wu, Ruichi Yu, Larry S. Davis.

Toward Characteristic-Preserving Image-based Virtual Try-On Networks, Bochao Wang, Huabin Zheng, Xiaodan Liang, Yimin Chen, Liang Lin, Meng Yang

文章内容内均有其编码开源系统详细地址。

专业高端橡胶密封元件的研发设计、生产和销售

电话:86 0755 89586630 传真:86 0755 28904939 邮编:518000
公司地址:深圳市龙岗区中心城风临国际A座2211室
工厂地址:中国 广东省东莞市清溪镇罗马路罗马二桥241号

CopyRight©2017.深圳市奥克橡胶技术有限公司All Rights Reserved.

耐高温密封圈哪家好?密封件厂家报价是多少?密封圈厂家质量怎么样?深圳市奥克橡胶技术有限公司专业承接耐高温密封圈,密封件厂家,密封圈厂家,电话:0755-89586630