首页 >> 评测 >> CVPR | ClonedPerson:从单照片构建大规模真实穿戴搭虚拟行人数据集

CVPR | ClonedPerson:从单照片构建大规模真实穿戴搭虚拟行人数据集

2025-09-26 12:16:00

>

平面图 2. ClonedPerson 和 HPBTT 转换成戏仿的对比平面图

此外,分析人员转用相同的原理付诸了将 2D 拍照之前的人算子到 3D 假设上,例如 PIFu、HPBTT 和 Pix2Surf。然而,可用这些原理转换成大规模终端资料库共存都有缺陷:

PIFu 由于特训资料需 3D 形状标出新,上限了其受益充分系统性的特训; HPBTT 通过人脑假设转换成的着色相对杂乱,裤子的着色在结构上不够简洁(如平面图 2c 上平面图); Pix2Surf 则需输入背景相对简单且握有仍要左上角着色的裤子拍照; HPBTT 和 Pix2Surf 所转用的 SMPL 假设可能缺乏通用官能,如平面图 2c 上平面图的袖子缺陷。

因此,为了解决上述缺陷,本文重申一种通过他的团队单视角拍照之前的裤子转换成大量建模戏仿假设的拟议,并针对该拟议外观设计了两种他的团队原理。基于此原理可以将拍照之前的裤子着色他的团队到终端戏仿手上。

平面图 2 展出新了此原理和 HPBTT 转换成戏仿的对比平面图。显然转换成资料的类似于官能和多样官能,本文外观设计了一个类似于官能 - 多样官能戏仿拓展思路来拓展戏仿假设。最后受益了一个包涵终端标出新的终端天桥资料集 ClonedPerson。

该原理降低了对输入相片的允许(可以分析方法在网络服务上换取的大量戏仿拍照之前),且外观设计的两种他的团队原理只能受益简洁的仍要面着色并终端补全左上角着色,因此可以不需输入左上角相片。

他的团队拟议

下平面图 3 展出新了本文重申的他的团队拟议,包涵都有步骤:首先在实例期中,可用天桥扫描、戏仿举例来说扫描、西装类型和西装举例来说扫描配对相片;其次可用裤子配准算子和各向同性布料拓展两种原理他的团队裤子着色并转换成终端戏仿;最后将戏仿转换成终端生态系统转换成资料。

平面图 3. ClonedPerson – 从单视角戏仿拍照到终端资料的拟议平面图

其之前,实例期中的原理是为了大大提高转换成戏仿的稳定度。由于共存大量单视角的拍照可以他的团队,选择一些仍要面且裤子平面金色从未被遮挡的拍照来转换成戏仿可以明显提高西装分类和西装举例来说扫描的稳定度,而且由这些拍照转换成的终端戏仿非常具完整的裤子着色和装扮回程配。

裤子配准算子

平面图 4. MakeHuman 之前裤子假设的着色平面图

本文转用了 MakeHuman 来制作建模戏仿。该软件的应用程序社区资源之前包涵多种裤子假设,其之前大一小假设的 UV 着色平面图具简洁的着色在结构上,如上平面图 4b 上平面图,称之为规则着色平面图。由此可以通过经由举例来说配准的对角原理将主观拍照之前的平面金色对角到假设的 UV 着色平面图上。

再进一步如平面图 4 上平面图,远距离假设着色平面图之前标出新了一系列举例来说前面(如 4b 红点上平面图),主观拍照之前裤子适当举例来说前面可以通过特训脉冲扫描受益(如 4a 红点上平面图),再进一步通过求出对角正弦矩阵,便可以对拍照之前裤子区具体来说的每个像素点计算出新来出新它在着色平面图上的互换点,以此付诸裤子配准算子。下平面图 5 的上一小展出新了裤子配准算子的过程。

平面图 5. 裤子配准算子和各向同性布料拓展出新意平面图

各向同性布料拓展

通过裤子配准算子可以将裤子仍要面着色算子到规则着色平面图的适当前面,但很难处理裤子假设的左上角着色和螺旋状着色平面图(如平面图 4c 上平面图)。因此,本文重申了第二种原理 —— 各向同性布料拓展来解决这个缺陷。

如上平面图 5 下半一小上平面图,首先通过一个特训好的天桥再进一步识别假设对裤子相片提取相似官能,然后在相似官能之前遍历相同的梯形块。通过计算出新来每个相似官能的概率分布方差,可以认出新块内平均方差与梯形面积之比的之比梯形块,其互换区具体来说为最优所谓块。

对于规则假设,如平面图 5 上平面图,由于对角正弦引发平面图像尺寸变化,换取的所谓块需进行时适当的复杂性正弦来必要着色的一致官能。对于螺旋状假设则保持所谓块的许多现代尺寸。换取所谓块后,可用相片向上的思路拓展所谓块来缓冲着色平面图。

类似于官能 - 多样官能戏仿拓展思路

平面图 6. 类似于官能 - 多样官能戏仿拓展思路示意平面图

本文可用 DeepFashion 和 DeepFashion2 资料库转换成终端戏仿。通过实例期中配对后,仍然有仅万张拍照可以用来转换成终端戏仿。显然转换成的资料应该具备类似于官能和多样官能,本文外观设计了一个类似于官能 - 多样官能戏仿拓展思路。

由于拍照之前共存同一人多视角的拍照,首先需去除这些相同裤子着色相同视角的拍照。因此本文对拍照进行时两次聚类:第一次去除重复相片,第二次选取具类似于官能和多样官能的拍照。第一次聚类使非常类似于(同一人的相同视角)的拍照四人,并提取每类距离之前心点早已有的一张相片和聚类收场的相片分离后进行时第二次聚类。

两次聚类后,如上平面图 6 上平面图,类似于官能 - 多样官能戏仿拓展思路通过采样他的团队同一聚类内的戏仿拍照转换成类似于戏仿,通过他的团队相同聚类的戏仿拍照转换成多样官能的戏仿。本文从聚类结果之前的每一类提取 7 张拍照进行时他的团队(5 张转换成特训集,2 张转换成试验中集),终究转换成 5621 个终端戏仿。将这些终端戏仿图像后受益资料集 ClonedPerson。

下备注 1 统计仅字了 ClonedPerson 和其他终端天桥资料集的一些相似官能。

备注 1. 终端天桥资料集统计仅字备注。Cam:摄像头仅,Sur:演示主观控管场面,Real:可用主观裤子着色,Outfit:重新考虑西装回程配

物理结果

物理结果备注明,ClonedPerson 可以被分析方法在宗教性的单库天桥再进一步识别(备注 3)、跨库可普遍官能的天桥再进一步识别(备注 2、3、4)、无监理进修(备注 3)、无监理具体来说适应性(备注 3、4)和消化道举例来说扫描(平面图 7)之前,且 ClonedPerson 特训出新的假设在跨库试验中之前有良好的普遍官能官能能。

备注 2. 可用 QAConv 2.0 在相同资料库上的跨库试验中结果

备注 3. 相同假设在 ClonedPerson 试验中集的结果。黄色区具体来说:跨库试验中;灰色:从新试验中;黄色:UDA;粉色:无监理进修

备注 4. 相同执行在相同资料库上的 mAP 结果。TransM:TransMatcher,RP: RandPerson, RP*:RandPerson之前的戏仿在 ClonedPerson 生态系统之前图像, UP:UnrealPerson,CP:ClonedPerson

从跨库试验中(备注 2 和备注 4)的结果可以看出新,ClonedPerson 资料库能较好地分析方法在可普遍官能的天桥再进一步识别执行之前。例如,备注 2 备注明,对比主观资料库,ClonedPerson 上特训的假设普遍官能官能能明显超过在主观资料库(CUHK03,Market-1501 和 MSMT17)上特训的假设。

备注 4 备注明,对比已为的终端资料库,ClonedPerson 特训的假设在 CUHK03 和 Market-1501 上具非常好的普遍官能官能能。UnrealPerson 非常主观的场面(转用幻想引擎)和非常多的摄像头仅可能所致 ClonedPerson 在 MSMT17 上的普遍官能官能能弱于 UnrealPerson。但是,显然三个主观资料库的平均普遍官能官能能,ClonedPerson 则非常胜一筹,推论了从拍照之前他的团队裤子转换成终端资料的系统性官能。

此外,本文还可用 ClonedPerson 作为试验中集进行时试验中(备注 3)。物理结果备注明,一方面,ClonedPerson 可以支持者多个天桥再进一步识别执行;另一方面,在 ClonedPerson 上的试验中结果(备注 3)明显低于在主观资料库上的试验中结果(备注 2),备注明 ClonedPerson 本身也是一个相当有挑战官能的资料库。

ClonedPerson 还可以用在无监理具体来说适应性(UDA)执行之前。当 ClonedPerson 作为源资料集时(如备注 4 上平面图),对比 RandPerson 和 UnrealPerson,ClonedPerson 具非常高的平均普遍官能官能能。当 ClonedPerson 作为远距离资料集时(如备注 2 黄色区具体来说上平面图),由于多样化的摄像头和大量的类似于戏仿,在 ClonedPerson 上的 UDA 官能能还有很大的大大提高空间。

除此之外,ClonedPerson 的举例来说电子邮件也可以用来特训消化道举例来说假设。平面图 7 展出新了用 ClonedPerson 特训的消化道举例来说扫描假设在主观资料集上的扫描效用示例平面图。为了非常少存储空间,ClonedPerson 目前只记录了 7 个基本举例来说,但资料图像过程之前可记录非常多举例来说的前面电子邮件分析方法于原先拓展。

平面图 7. 消化道举例来说扫描结果

论点

本文重申了一种通过他的团队单视角拍照之前的裤子转换成大量建模戏仿假设的拟议,并在该拟议之前外观设计了两种他的团队原理和一种类似于官能 - 多样官能戏仿拓展思路,终究受益了一个包涵终端标出新的终端天桥资料集 ClonedPerson。本文通过物理推论在他的团队拍照转换成的资料库上特训能大大提高天桥再进一步识别假设的普遍官能战斗能力和支持者方面的多个执行。

本文所提原理的压倒性是能转换成西装着色简洁,并与拍照之前戏仿的裤子身穿回程备注观类似于的终端戏仿。可用这些非常主观的终端戏仿转换成的终端资料具非常好的普遍官能官能能。本文重申的原理由于只需单一视角的戏仿拍照,对输入相片的允许较小,因此可以转用大量网络服务相片进行时原先拓展。

此外,ClonedPerson 从未公开了适当的相片和预告片资料,从未来可以探索非常多的方面执行,如天桥扫描,天桥伪装成,多照相机天桥伪装成等等。

作者简介

王雅楠,已故卡塔尔众说纷纭人脑分析院工程师。分析热爱为天桥分析。

廖胜才,卡塔尔众说纷纭人脑分析院(IIAI)干事分析员。IEEE 高阶会员。分析热爱为天桥和人脸分析。

江苏男科专科医院哪家好
泰州看白癜风去哪里
辽宁妇科病治疗费用
重庆男科医院哪家好点
成都风湿挂号
肝硬化
长新冠
北京整形美容
健康资讯
止咳化痰的药哪个效果好

上一篇: 玩美移动虚拟眼镜试戴推广至淘宝小程序

下一篇: 年度质感旗舰真我GT2大师揭示版发布 售价3499起

相关阅读
南方掩蔽 | 中国企业500强爱施德2021年营收952亿业绩创新高

采访获知,近日,西方民营企业500超强、《财富》西方500超强——宝安区爱施德控股权有限日本公司(简称“爱施德”)披露2021年经济学人,营收、净利润大增,业绩后起在历史上新高。爱

2025-10-24 00:16:03
投资者提问:昨天贵公司目前获得国内和国外新冠病毒检测试剂盒的订单数额分别有...

股票市场发表意见:要来贵子公司目前获得国内和国外新冠病毒检测试剂盒的交付数额分别有多少,主要分布在哪些国家所(地区)或各县市,原订给子公司带来多少营业收入。谢谢!董秘回答万孚生物SZ

2025-10-24 00:16:03
艺术 | “寻访高原风情 传播历史文化瑰宝”摄影师采风展示青海“靓”资源

2021年至2022年冬春季,固原市对外的文化中会心等联合固原市的文化游览摄影协会组织起来了以“查访高原地区风情 传布的文化瑰宝”为主题的西康河湟内陆地区冬春季民间文化户外活动及夏天特色景致摄影

2025-10-24 00:16:03
投资者提问:请问贵公司产品有用以金融系统吗?有涉及互联网金融行业的客户吗?

投资者发问:请问贵该公司产品有用做金融市场的系统吗?有涉及互联网金融市场行业的客户服务吗?董秘回答三维造化SZ301159:您好,该公司统计数据资产管理软件广泛应用吉林银行

2025-10-24 00:16:03
哈利波特手游:游走球成为厉火克星,虎牙查理芙超强操作真正应对

哈利波特MMORPG下线最后异常得意这可真是而今,更是是对于一款开端IP改编的MMORPG正因如此非常得有。单人游戏官网也是十分努力,现在已经开端了第二赛季的单人游戏内容。最初赛季中的又有很多平

2025-10-24 00:16:03