整点活!Android 端的 AI 消除安排

在 AI 快速发展的时代,手机芯片的性能进步也是一日千里,手机的也不仅仅是打电话,聊天的工具了。很多原来只在桌面端运行的模型都可以运行在手机端了。现在很多手机都推出来了 AI 相机,其主要功能主要有 AI 消除,AI 替换。接下来我会分析他们的实现,以及我自己的实现。

AI 消除的实现方案分析

鉴于移动端性能和存储的局限,我们不可能使用桌面端的很多模型,里面动辄几个G 的模型,上来就会把内存给拉爆,手机的处理器也满足不了这方面的要求。一般手机上的模型 size 要尽量小,需要通过简化,量化等手段来保证在端侧运行效率。
消除一般来说我们可能会有 3 个场景:

  1. 手动涂抹消除
  2. AI 人像消除
  3. AI 任意物体消除

手动涂抹

手动涂抹是最早,也是使用最多的消除手段,通过在照片上滑动,获得照片的mask,方便后续处理。

人像消除

人像消除,一般我们可以通过一些 Image Segmentation 模型来实现。图像分割的大多数预训练模型都是可以直接拿来使用的,里面基本都包含了人物识别。在这里我推荐使用最为广泛的 YOLO8 Segemnt 模型,你可以直接拿来使用,教程简单易懂。选好了模型之后下一步就是对图像进行处理,这时候我们会获得很多人像的掩码/mask,方便我们后续使用。这种方式的处理人像的特点就是大批量速度快,我们只需要给出固定类型入参。比方说我们需要移除照片里面所有游客,我们入参的时候模型给定 [person],那么我们就会获得所有人物的 mask,方便我们后续消除。

任意物体消除/segment anything

Segment anything 最早是 facebook 提出的一个分割模型,后来在移动端也有了不少变种。基于 Yolo8 的 fast sam 和 mobile sam,在性能上已经有质的飞跃。原本的 SAM 模型在移动端执行一个任务大概要花 100 多 S,具体取决于处理器(包括GPU)的性能,fast sam和 mobile sam 模型在优化之后可以速度可以快几十倍,完全可以在移动端无障碍运行。

SAM 模型的主要优点就是可以高度自定义编辑图片,比方说我的照片背景里面有几根电线,这时候如果没有 SAM 模型,我们要么自己在 Image segmentation 里面添加训练数据集重新训练一个模型,要么手动涂抹照片,获得一个 mask。这 2 种方式其实都不是很友好,手动涂抹电线,需要设置不同的线宽,而且很容滑错。之前我出去旅游,用的 小米 14 拍照,我当时背景有几张电线,我当时很想把它给消除了,我只能涂抹,但是涂的歪歪曲曲的,而且宽度也不一致,后来效果很不好。这时候如果能加入 SAM模型,我只需要点击电线找到 mask,后面的事情就会简单的多了。

AI 填充

前面介绍了三种消除的手段,通过消除之后我们会获得一个 mask,这个 mask 其实就是一个 单通道的数组,通常来说其实就是对应 照片里面的某个点,例如 mask[index] = 255 说明这个像素需要进行填充替换。
在移动端上我们可以使用的模型有 Lama,Aot-gan 等等。
一般填充 mask 这个操作我们叫做 inpaint。对于移动端的 inpaint 模型,由于性能和执行速度限制,入参都是 256✖️256 或 512✖️512 这意味着我们输出的图像质量不会太高。通常我们需要对 decoder 之后的照片的 mask 区域添加增强任务。可以使用 opencv 或者 super resolution 模型对 mask 区域进行增强。

结尾

附上最近几周做的 demo

阅读全文
下载说明:
1、本站所有资源均从互联网上收集整理而来,仅供学习交流之用,因此不包含技术服务请大家谅解!
2、本站不提供任何实质性的付费和支付资源,所有需要积分下载的资源均为网站运营赞助费用或者线下劳务费用!
3、本站所有资源仅用于学习及研究使用,您必须在下载后的24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担!
4、本站站内提供的所有可下载资源,本站保证未做任何负面改动(不包含修复bug和完善功能等正面优化或二次开发),但本站不保证资源的准确性、安全性和完整性,用户下载后自行斟酌,我们以交流学习为目的,并不是所有的源码都100%无错或无bug!如有链接无法下载、失效或广告,请联系客服处理!
5、本站资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您的合法权益,请立即告知本站,本站将及时予与删除并致以最深的歉意!
6、如果您也有好的资源或教程,您可以投稿发布,成功分享后有站币奖励和额外收入!
7、如果您喜欢该资源,请支持官方正版资源,以得到更好的正版服务!
8、请您认真阅读上述内容,注册本站用户或下载本站资源即您同意上述内容!
原文链接:https://www.dandroid.cn/22163,转载请注明出处。
0

评论0

显示验证码
没有账号?注册  忘记密码?