发布日期：2024-10-13 05:02 点击次数：189
跟着社会经济和科技的赶紧发展， 外杂乱聚、视频直播平台和视频播放平台得以迅速发展， 海量用户不绝产出各式图像数据.图像数据以其直不雅、信息量丰富的脾性， 在东说念主们的日常生涯中发达着伏击的作用.其中， 东说念主脸图像因其与东说念主的细腻关联性金先生 偷拍， 受到很是深爱.本文商讨的问题——自动上妆算法， 即自动合成妆容， 恰是对东说念主脸图像进行妆容裁剪.自动上妆在文娱互动、身份认证等多个畛域具有平日的应用.在文娱互动畛域， 自动上妆算法不错融入到广博图像裁剪软件、视频直播软件中， 进一步丰富软件的功能、意象性以及与用户的互动性.在身份认证畛域， 如刷脸支付、身份证校验等， 东说念主脸识别时间必须与其他考证面貌搭配使用才能欢悦各种场景的安全性要求， 也等于多成分考证.而自动上妆算法， 不错扶植东说念主脸识别时间， 抹杀妆容成分对东说念主脸识别产生的烦躁.图 1所示为自动上妆任务暗意图， 自便输入一张东说念主脸图片以及某种妆容类型， 通过自动上妆模子， 就不错得到上妆后的绝交图.
Fig. 1 Automatic make-up task
图 1 自动上妆任务暗意图
另一方面， 跟着东说念主工智能深度学习畛域的赶紧发展， 深度学习时间已在诡计机视觉、语音识别、当然讲话处理等多个商讨畛域得到了庞大的告捷.其中， 生成抵抗集聚更是在图像处理畛域得到了令东说念主注目的收货.2014年， 蒙特利尔大学GoodFellow等学者发表了论文《Generative Adversarial Nets》， 初次建议了GANs(generative adversarial nets)这一见地， 即生成抵抗集聚.近两年， 生成抵抗集聚在大批不同的诡计机视觉任务上得到了显贵的收货， 举例:图像生成[1-7]、图像转换[8-12]、图像裁剪[13]、超分辨率[14]、东说念主脸图像合成[15-17]、泄露学习[18-20]、图像修补[21]、异日展望[22]以过头他如视频生成[23]和3D数据场景分类[24]等等.
本文拟将GANs用于自动上妆问题的商讨.与其他设施比较后可知:
(1) 生成抵抗集聚最大的上风来自于判别器的引入， 让咱们毋庸钻冰取火地为一些难以径直用数学公式预计狠恶的任务想象亏蚀函数.
(2) 在东说念主脸图片裁剪方面， 如在东说念主脸妆容属性裁剪等骨子应用中， GANs不错通过模拟妆容特定属性的溜达， 终了很好的合成绝交.
(3) 端到端的图像生成， 只需想象一个举座的集聚， 不需要零丁探讨各个部件的想象， 模子结构神圣、直不雅.
(4) 完好地生成一张图片， 自恰当地为不同的东说念主脸上妆， 让统共这个词妆容的搭配愈加当然.
可是， 行为东说念主脸裁剪问题， 针对自动上妆任务想象生成抵抗集聚结构存在以下难点.
●东说念主脸妆容属性的裁剪需要保捏东说念主物主体身份信息不变， 不会改换东说念主物的脸型、性别等决定东说念主物身份的成分， 也不会改换头发、配饰等无需裁剪区域， 只改换眼影、唇彩、腮红等上妆区域.而生成集聚却每每将整张图像生成一遍， 很难不停无需要改换区域的不变性.
●一般的东说念主脸裁剪问题如改换年事、改换情愫等任务， 只需要对东说念主脸举座特征同期进行裁剪， 可是上妆任务还有局部裁剪的需求， 如单独针对眼影、嘴唇或面颊中的某些部位进行特定的局部裁剪.这就对自动上妆的设施建议了更高的要求.
●可供测验的东说念主脸妆容数据集少.测验集聚得到的上妆后图片不够确凿当然， 偶而有显然的东说念主工陈迹.
针对以上几个难点， 本文建议一种掩模章程的自动上妆生成抵抗集聚模子， 该模子的主要孝顺包括:
●建议掩模章程设施， 在裁剪东说念主脸妆容属性时， 通过掩模不停不需要改换的区域不发生显然的变化.举例， 保捏头发、布景、配饰等非妆容区域不变， 只改换眼影、唇彩、腮红等上妆区域.同期， 集聚省略保捏脸型、性别等决定东说念主物身份的信息不变， 保捏主体信息.
●省略零丁裁剪东说念主脸的眼影、嘴唇、面颊中的某些局部区域， 终了特定区域上妆， 丰富了上妆功能.
●省略进行多数据辘集合测验， 除了化妆数据集外， 还不错使用关联东说念主脸数据集行为扶植， 使模子泛化才能更强， 生成的上妆绝交愈加当然.
本文建议的掩模章程的自动上妆生成抵抗集聚模子包括3个子集聚:(1)生成集聚; (2)判别集聚; (3)掩模生成集聚， 模子的框架如图 2所示.
2018年最新国产在线视频
Fig. 2 Framework of automatic makeup generative adversarial network using mask
图 2 掩模章程的自动上妆生成抵抗集聚模子框架图
其中， 掩模采取模块具体如图 3所示.
Fig. 3 Structrue of mask-choosen module
图 3 掩模采取模块结构
本文第1节先容关联责任.第2节先容践诺用到的妆容数据集.第3节描模本文建议的掩模章程的自动上妆生成抵抗集聚模子.第4节展示建议的模子与现存主流的生成抵抗集聚模子在妆容数据集上的践诺绝交.第5节记忆责任， 并对异日值得关心的商讨标的进行初步探讨.
1 关联责任基于传统设施的自动上妆算法:Guo等东说念主[4]建议处罚好意思妆转移任务的设施.他们的设施访佛于物理化妆， 在保留脸部结构的同期改换花样和肤色细节.更确凿地说， 他们当先将素颜东说念主像和参考的带妆东说念主像证据为3个线索:面部结构层、皮肤细节层和花样层.之后， 他们将信息从图像的每个图层转移到另一个图像的相应图层.这一设施的主要优点在于， 其仅需要一个参考的带妆东说念主像图像， 较为便捷和实用.而污点是它需要将带妆图片的东说念主脸款式误会形酿成素颜图片的东说念主脸款式， 而况需要分红多个区域分别进行处理， 处理速率慢， 铺张时分长， 而且一次只可合成一种类型的妆容.除此除外， Scherbaum等东说念主[5]建议使用变形东说念主脸模子来进行面部化妆责任.但是， 该设施的不及在于需要网罗兼并个东说念主妆前妆后的成对的图片， 要求兼并个东说念主妆前妆后图片的基本姿态不变， 同期， 光照、角度等外皮成分也不可有太大的改换， 这种数据集的网罗有很浩劫度.Tong等东说念主[6]建议了一种“好意思容转移”才能， 将实例对中的妆容作风传神地移动到另一个东说念主的脸上.但是雷同地， 该责任对化妆前后图片对也有要求， 绝交了系统的实用性.Liu等东说念主[7]建议了一个凭据素颜图片自动保举妆容图片并在素颜图片上进行妆容合成的系统， 但这一责任的主要商讨点在于妆容保举.综上， 基于传统设施的自动上妆算法对妆前妆后图片的要求比较严格， 得到的妆容合成图片的绝交也不是很当然.
基于深度学习的图像裁剪算法:自动上妆算法属于图像裁剪算法的一种， 不错与其他图像裁剪算法相互模仿.与自动上妆算法研究最为细腻的两种图像裁剪算法是图像作风转移和图像到图像的转换.图像作风转移是2015年Gatys等东说念主[25]建议的一个商讨标的.图像作风转移输入内容图像和作风图像， 输出的图像既需要保捏内容图像的内容， 又需要具有作风图像的作风.之后又出现了很多责任， 如Li等东说念主[26]即扎眼于升迁算法速率， 而Fiser等东说念主[27]扎眼于图形学设施， 终清亮基于确凿图像的面部动画合成.Liao等东说念主[28]的利用多层特征的不停， 在多种转移任务上皆得到了较好的绝交.图像到图像的转换则是另一种视觉和图形问题， 它的主见是通过成对的图像测验数据集来学习输入图像和输出图像之间的对应研究， 即从源域图像转换成输出域图像.图像转换的具体内容包括从标签图像得到场景图像[29]， 从卫星相片得到舆图， 从长短图像得到彩色图像， 从草图得到具体的图片[30]等.这类责任需要缔造起图片域与图片域之间的转换公式， 主要针对的是不同域之间的相互转换， 而非图像作风转移中图像个体之间的作风转换.由于生成抵抗集聚建议了抵抗性亏蚀的想法， 这种亏蚀迫使生成的图像原则上与确凿图像无法诀别， 是以生成抵抗集聚在图像生成任务中展现出了极为出色的才能.
基于深度学习的自动上妆算法:比年来， 自动上妆时间关联商讨引起了更多的关心， 可是与其他图像裁剪任务比较仍然杰出有限， 但是跟着深度学习畛域商讨的不绝发展， 除了传统的自动上妆算法， 近几年也出现了多种基于深度学习的自动上妆算法.Li等东说念主[31]引入抵抗集聚生成素颜图像用于妆容不变东说念主脸考证.Wang等东说念主[32]建议了一种基于局部不停字典学习的妆容检测和卸妆框架.Li等东说念主[33]针对此问题建议了另一种图像证据的设施.妆容转移亦然另一个有蛊惑力的应用， 其与图像作风转移相似， 主见是给定带妆图像行为参考， 将带妆图像的妆容转移到源图像得到生成图片.其中较有代表性的是Liu等东说念主[34]建议的一种凭据素颜相片保举合适妆容且将妆容转移到东说念主脸上的设施.该集聚的模子基于VGG19， 输入素颜图像和参考的带妆图像， 输出妆容合成后的绝交.举座来说， 该模子也属于生成模子， 但亏蚀函数是东说念主工想象的， 与生成抵抗集聚比较， 该模子弗成一次性输出多种妆容合成的绝交， 生成历程亦然迭代的而非一次性的， 速率比较慢.此外， Chang等东说念主[35]基于GANs和图像分割， 建议了轮回不停的妆容作风转移设施， 得到了较好的绝交.
本文主要处罚的问题有别于妆容转移任务， 更接近于多域的图像到图像的转换.在妆容转移任务中， 图像莫得界说妆容属性类别， 其脾性在于图片对图片的转换， 不错将多种千般丰富的妆容类别转移到主见图像， 但在迁顷刻， 算法必须要有指定的参考图像.而本文主要的任务为多域的图像转换， 行将东说念主脸图像按照指定的类别进行裁剪， 使蓝本属于某个域的图像经过裁剪后领有另一个域的妆容特征.其脾性在于不需要参考图像， 仅需指定一个类别即可.如将某张素颜相片裁剪为烟熏妆， 此时并不需要某个烟熏妆的参考图片， 输入烟熏妆类别对应的属性编码， 算法即可自动为素颜相片裁剪出相应的烟熏妆绝交.
2 妆容数据集先容现阶段生成抵抗集聚对测验数据图片有着较高的要求， 如若想要生成质料较好的数据， 则对测验数据的数目和质料皆有一定要求.关于本文中的自动上妆任务， 咱们利用了最近新建议的妆容数据集.该数据集基于妆容脾性进行了分类圭臬的规则， 使得每种妆容的脾性隆起， 具有排他性.数据靠拢的图片皆进行了妆容类别的标注， 使得数据集标签界说精准， 类内差距小， 类间区别显然.
2.1 数据集类别和数目图 4所示为亚洲妆容数据集暗意图， 其中， 图 4(a)所示日系妆容的脾性:底色雪白， 眉形当然， 眼影粉底等妆容很淡， 唇色不重， 利用较浅的腮红进行修颜.图 4(b)所示韩系妆容的脾性:大多为平眉， 眉形较粗， 眼妆很淡， 较少使用油腻的腮红修颜.图 4(c)所示亚洲素颜的脾性:基本未化妆， 五官平面化.图 4(d)所示亚洲烟熏妆的脾性:眼线和眼影在眼窝处漫成一派， 眼影面积较大， 唇色显然， 以黑灰色为主色调.图 4(e)所示维捏妆容的脾性:一字粗眉， 腮红、唇膏、眼影花样疏浚或附进， 皆为粉色或橘色的浅色系.
Fig. 4 Examples of Asia makeup dataset
图 4 亚洲妆容数据集暗意图
本文践诺中， 亚洲妆容数据集分为测验集和考证集， 其中， 测验集一共5 374张， 考证集一共361张， 具体情况见表 1.
Table 1 Details of Asia makeup dataset
表 1 亚洲数据集确定
图 5所示为欧洲妆容数据集暗意图， 其中， 图 5(a)所示彩妆妆容的脾性:隆起深奥而色调填塞度高的眼影， 哑光腮红， 唇彩多为红色系等较为油腻的花样.图 5(b)所示欧洲素颜的脾性:基本未化妆， 五官立体化.图 5(c)所示欧洲烟熏妆的脾性:在亚洲烟熏妆的脾性上， 眼窝愈加深奥， 唇彩、眉毛等妆容愈加立体和夸张.
Fig. 5 Examples of Europe makeup dataset
图 5 欧洲妆容数据集暗意图
本文践诺中， 欧洲妆容数据集分为测验集和考证集， 其中， 测验集一共3 815张， 考证集一共422张， 具体情况见表 2.
Table 2 Details of Europe makeup dataset
表 2 欧洲数据集确定
3 掩模章程的自动上妆生成抵抗集聚模子
掩模章程的自动上妆生成抵抗集聚包括3个子集聚:生成集聚G集聚、判别集聚D集聚和掩模生成集聚S集聚， 结构如图 2所示.集聚的输入包含两部分， 分别为待上妆东说念主脸图片和要求编码.待上妆东说念主脸图片是256×256像素的三通说念RGB图像.要求编码包括妆容标签、上妆区域标签以及扶植数据集标签和掩码要求标签， 其中， 后两者用于多数据辘集合测验， 将在第3.6节中加以详备先容.妆容标签为One-hot编码， 以亚洲数据集为例， 即以五维向量泄露维捏妆、韩式妆容、日式妆容、素颜、烟熏妆5种类别， 如(1， 0， 0， 0， 0)即代表维捏妆.上妆区域标签使用0/1向量的时势进行编码， 0代表不上妆， 1代表上妆， 通过三维向量泄露是否在眼影、嘴唇、面颊这3个区域上妆， 如(0， 1， 1)即代表在嘴唇和面颊区域上妆， 而眼影区域不上妆， 通过改换上妆区域标签， 即可章程不同区域是否上妆.
3.1 生成抵抗集聚简介生成抵抗集聚:2014年， 蒙特利尔大学GoodFellow等学者发表了论文《Generative Adversarial Nets》， 并在此文中初次建议了GANs， 即生成抵抗集聚.典型的生成抵抗集聚模子由两个模块组成:生成器和判别器.判别器学习诀别真假样本， 生成器学习何如产生以伪乱确切假样本.频繁情况下， 测验一个深度学习模子皆需要亏蚀函数或者灵验的评价模子狠恶的评价策划.亏蚀函数一般是东说念主为想象的， 其在反向传播中更新模子参数.而生成抵抗集聚通过生成器与判别器之间的抵抗学习来测验模子， 从而合成与所生机图像相似的图像.如图 6所示， 输入一个当场向量z， 经过生成器G， 得到一张图片G(z)， 生成器的目的是让G(z)看起来和确凿图片一样， 是以需要测验一个判别器D， 给出确凿图片的样本x行为参考， 关于确凿的图片样本， 让D(x)的绝交尽量接近1， 关于生成图片G(z)， 让D(G(z))的绝交尽量接近0.这里的判别器就充任了评价图片的脚色， 它能判别图片的真伪， 换句话说， 等于判别图片来自于确凿图片数据集还是生成器生成的假数据.而生成器的任务等于尽可能地生成真假难辨的图片来诳骗判别器， 让D(G(z))接近1.D和G的主见是相背的， 这等于生成抵抗集聚被称为“抵抗”的原因.
Fig. 6 Framework of GANs
图 6 生成抵抗集聚模子框架图
要求生成抵抗集聚:典型的生成抵抗集聚模子由生成器和判别器组成.判别器学习诀别真假样本， 生成器学习何如产生以伪乱确切假样本.生成抵抗集聚中生成器的输入是当场向量.在此基础上， 为处罚GANs生成图片不可控的问题， 要求生成抵抗集聚CGAN被提了出来.通过向生成集聚和判别集聚的输入层加入独特的信息不停， CGAN省略按照输入的要求信息， 章程集聚产生生机的图像.近几年的关联责任标明:带有类别信息的判别器和生成器省略凭据类别信息生成样本[11，36，37].最新的商讨还包括凭据给定的翰墨刻画来生成特定的图像[38，39].此外， 要求生成抵抗集聚的想想还被告捷地应用在域转换[40，41]、超分辨率[14]等畛域.
3.2 自动上妆模子生成抵抗集聚生成集聚G:生成集聚是基于要求生成集聚想象的.如图 2所示， 要求生成集聚由下采样卷积模块、残差卷积模块以及上采样卷积模块组成.集聚输入为东说念主脸图像及主见标签信息， 输出为上妆后的东说念主脸图片.将维捏妆容的输入图片X与生机某个其他属性， 如图中的烟熏妆容属性(假定其对应的编码为Y)送入生成集聚G， G所生成的图片G(X， Y)既包含X的主体信息， 又与编码Y对应的烟熏妆容属性相符.生成集聚G主要依靠判别集聚D登科3.3节中的区域不变不停加以监督.此外， 其主体信息的保捏通过不停G(G(X， Y)， YX) = X终了， 其中， YX为生成图片自己的要求编码金先生 偷拍， 图 2所示为维捏妆容.即:将维捏妆容的输入图片X与主见域属性编码Y(生机的烟熏妆容属性)级联送入生成集聚G， 得到相宜烟熏妆容属性的生成图片G(X， Y)， 再将生成图片G(X， Y)与源域属性编码YX (输入图片的维捏妆容属性)送入生成集聚G， 得到重构的输入图片， 重构的输入图片应与输入图片保捏轮回一致性.这一不停也被称为重构不停Lrec， 即最小化如下主见函数:
${L_{rec}} = {E_{(X，Y)\sim{P_{x，y}}，Y\sim{p_y}}}[