![cover](https://img-blog.csdnimg.cn/img_convert/158f862bdfe1d559445ba388b59b40f2.webp?x-oss-process=image/format,png)
Deepfacelab之Xseg遮罩模型详解,值得收藏
但个人不推荐这种方式,因为推理出来的遮罩不一定完美,如果有瑕疵就会影响训练效果。而用Xseg模型的话,先挑关键动作20-50张图画上遮罩,再训练一个Xseg模型来学习,学完后由模型自己给其余类似图片画上遮罩,能极大减小工作量。例如dst有眼镜,src无眼镜,训练生成的src如果直接贴在dst脸上,眼镜就会被盖住,留下两个奇怪的眼镜腿。建议萌新直接使用别人已经训练好的遮罩模型,比如dfldata.x
学会使用遮罩模型是菜鸟进阶高手的重要一步
遮罩可以帮你处理诸如头发、眼镜、舌头等src难以训练生成出来的细节
例如dst有眼镜,src无眼镜,训练生成的src如果直接贴在dst脸上,眼镜就会被盖住,留下两个奇怪的眼镜腿。通过Xseg遮罩模型,可以自动扣出dst的眼镜并保留,从而实现src也带上眼镜,效果更自然。
花几千米收来的多个deepfacelab模型(模型+遮罩+说明)
下载地址:
链接:https://pan.baidu.com/s/1Xes3VlY2jSCHmYEl3Qoo3A?pwd=xlet
提取码:xlet
--来自百度网盘超级会员V2的分享
那为什么要训练一个模型呢?和每一张手动去画遮罩有什么区别?
答案是工作量不同:60秒视频,每秒25帧,一共1500张图,你每一张手动画遮罩我敬你是条汉子。而用Xseg模型的话,先挑关键动作20-50张图画上遮罩,再训练一个Xseg模型来学习,学完后由模型自己给其余类似图片画上遮罩,能极大减小工作量
Xseg遮罩模型的使用可以分为训练和使用两部分部分
1. 训练Xseg模型
训练需要绘制训练素材,就是你得用deepfacelab自带的工具,手动给图片画上遮罩。这一步工作量巨大,要给每一个关键动作都画上遮罩,作为训练数据,数量大约在几十到几百张不等。
建议萌新直接使用别人已经训练好的遮罩模型,比如dfldata.xyz论坛置顶的万能Xseg模型,基本涵盖所有常规遮挡物,包括头发、香肠、舌头、眼镜等,可以直接在合成阶段使用
如果你想体验Xseg模型制作过程,或素材遮挡比较特殊,就按一下步骤操作
1. 常规提取dst和src人脸,获得对应aligned文件夹
2. 使用5.XSeg) data_dst mask for XSeg trainer - edit.bat脚本,打开绘制工具,绘制dst的遮罩。src同理
3. 绘制完成后,使用5.XSeg) train.bat脚本进入训练阶段,脸型参数根据需要选wf或f,bs使用默认值。模型训练比较耗显存,如果提示OOM显存不足的错误,减小bs大小。 另外一提,xseg模型不区分分辨率
4. 当训练预览窗口中第二第三栏效果图符合你满意程度时,按enter结束训练。在model文件夹下获得成品xseg模型一组
步骤比较简单,主要讲下遮罩绘制工具怎么用
按键功能都在图中标识了
只要用框选工具咔咔一顿点,把人脸区域给围出来就好了。
框选分两种,实线是添加选区,虚线是排除选区。以上图欧阳娜娜口红为例,两种方式都可以完成框选,根据个人喜好选择
画好的遮罩存储在aligned图内部,直接看不到,只能通过DFL自带的Xseg edit脚本进行查看
其他几个按键自己随便点点就知道什么作用了,不具体讲了
2. 使用Xseg模型
使用Xseg模型实际上有两种使用方式,一种是在换脸模型训练前先把遮罩给推理出来,应用到训练素材中。另一种是合成时实时生成遮罩并预览。
第一种方式就是使用5.XSeg) data_src trained mask - apply.bat脚本(dst同理),讲遮罩提前生成并写入图片信息中。这样在换脸模型训练阶段就能只针对重点区域进行学习,不去学习什么口红啊,头发啊,略微能提升点质量。但个人不推荐这种方式,因为推理出来的遮罩不一定完美,如果有瑕疵就会影响训练效果。
建议使用第二种方式,在合成merge阶段,在交互预览窗口直接按X来实时计算遮罩,因为方便观察遮罩效果。X可以多按几次,有多个遮罩使用模式,总有一款会适合你
Xseg模型的复用
最后讲下Xseg模型的重复使用
Xseg模型不需要每次素材都重新训练一份,可以在同一份模型基础上加入更多素材继续训练,让模型能处理的遮罩越来越牛逼
每次手工画完的遮罩图不要删,用5.XSeg) data_dst mask for XSeg trainer - fetch.bat脚本集中搜集起来,下次有新素材可以加入一块训练
更多推荐
所有评论(0)