电话:86 0755 89586630

传真:86 0755 28904939

公司地址:深圳市龙岗区中心城风临国际A座2211室

工厂地址:中国 广东省东莞市清溪镇罗马路罗马二桥241号

邮编:518000

企业官网:http://www.oxkseal.com

新闻中心
虚拟试衣:Virtual Try-on Network系列产品工作中(二)
时间:2020/11/10 3:46:00 来源: 作者: 点击: 次

详细介绍

上篇2个顶会的虚拟试衣的文章内容全是来自于中大的工作中,在这个系列产品后,她们又干了一个可变性pose每日任务,并融合了抵抗训练的工作中,临时按下不表。

回望一下,VITON和CP-VTON2个实体模型都会形变衣服裤子的Stage 1上花了比较多的时间。一个用了Non-param TPS,一个用GMM互联网来做转换,另外都必须对图象开展human parse和pose estimate流程,花销很大。
在CP-VTON上,在小编的试验中,因为LIP数据自身不足整洁,Stage 1的GMM的训练实际效果就并不是很理想化,针对挡住等状况不鲁棒性。文中详细介绍的这篇新文章内容关心于端到端的训练方法改进。

"End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On"

设计效果图

方式


网络架构图


互联网架构如圖所显示,Agnostic person 指的是相近之前应用human parser和pose estimator的身体特点,用以保存identity和去强监管,以前的CP-VTON必须抠出来身体的mask和pose,文中只必须身体上边一部分的mask。
能够见到其构造和CP-VTON十分类似,上边一部分的互联网应用2个卷积网络各自获取 , 的特点后,过Correlation Layer,再次做卷积和得到 一组开展几何变换的主要参数,用这组主要参数用于开展规范衣服图片的转换。在CP-VTON中这就是Stage 1的互联网,是必须应用L1 Loss独立训练的。

文中明确提出的端到端方式则是应用这套主要参数对下边一部分的U-Net的Encoder的skip connection的每一个scale的feature map做几何变换,这一步是为了更好地可以在下边一部分的互联网中能够立即键入一个规范衣服图片,只做为端到端互联网的一个子一部分,另外防止不两端对齐的难题。在CP-VTON中,则是应用了Stage 1輸出的两端对齐好的衣服图片做为键入的方式开展避开,因此 只有阶段性训练。

下半一部分的U-Net中,键入的二张照片各自用不一样的Encoder,历经转换后concat来养Decoder。文章内容设计方案了二种抵抗loss的方法,各自为匹配和未配对,指的是Discriminator的负样版是模仿原照形成的 ,還是依据别的规范衣服裤子图片生成的 。
如果是要测算unpaired adversarial loss得话,规范衣服图片必须键入二张,輸出二张合成图片,paired用于得到 L1和VGG Loss,unpaired用于抵抗训练。Adam提升一共四个Loss。

文中用了LPIPS (linear perceptual image patch similarity)做为新的评价方法,用paired adversarial loss的实体模型得分最好是。LPIPS是一个相近perceptual loss的设计方案,用AlexNet做获取。
觉得是依然想要perceptual的方法,但怕变为立即提升指标值?

LPIPS

人测评得话,是unpaired抵抗训练的实体模型得分最好是。

评价表

暂时没有源代码。在V100上训了三天三夜,前向算不上parse,一个4幅图的batch只必须0.31s。

念头

有关在身体特点ap上的改动,实际上在训练的情况下也发觉到,用一些SOTA的pose estimator针对实体模型提高没什么实际效果。想不到cp-vton上拆换ap也是有实际效果。

差mask也是有好結果


试验里提及,在inference的情况下,mask抠的不太好都不太危害照片品质,这一结果挺趣味的,或许能够减少前向预备处理的花销,但如今看来,为了更好地维持identity,对秀发還是得抠准的,因此 還是得用SOTA的parser。

把前文一直延用的compose mask做refine的方式换为了端到端一次性的形成全过程,就便捷导入抵抗训练来提升 照片品质,用组成mask的方法过度依靠coarse result的品质了,非常容易出現规格不搭配,如胳膊衣服裤子边沿不搭配的难题。对feature map做转换的构思,在STN一文中也曾提及过。

这类每日任务的最终目地便是,确保照片真实性,保存衣服裤子、身体关键点,沒有很通用性的评价方法。有一半之上的毕业论文都用了Amazon的众包平台来评定。

Reference

End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On, Thibaut Issenhuth, Jérémie Mary, Clément Calauzènes

专业高端橡胶密封元件的研发设计、生产和销售

粤ICP备18156249号

电话:86 0755 89586630 传真:86 0755 28904939 邮编:518000
公司地址:深圳市龙岗区中心城风临国际A座2211室
工厂地址:中国 广东省东莞市清溪镇罗马路罗马二桥241号

CopyRight©2017.深圳市奥克橡胶技术有限公司All Rights Reserved.

耐高温密封圈哪家好?密封件厂家报价是多少?密封圈厂家质量怎么样?深圳市奥克橡胶技术有限公司专业承接耐高温密封圈,密封件厂家,密封圈厂家,电话:0755-89586630