百度360必应搜狗淘宝本站头条
HTML APICSS 语法HTML 游戏HTML5 支持CSS 谷歌字体
当前位置：网站首页 > 技术文章 > 正文

谷歌又买算法送手机，背景虚化细节到头发丝，真有单反那味儿了

myzbx 2025-01-23 19:52 27 浏览

明敏 发自 凹非寺

量子位 | 公众号 QbitAI

当真是买算法送手机！

这不，谷歌又给“亲儿子”Pixel 6塞福利了，让手机抠图也能细节到头发丝。

看这效果，原本模糊的头发轮廓，咻地一下，就变成了纤毫毕现的样子！

连发丝之间的缝隙也能精准抠到。

这样一来，就避免了使用人像模式拍照时人物与虚化背景割裂的情况，让人物照片的纵深感更加逼真。

四舍五入一下，这不就是手握单反拍照？（手动狗头）

Alpha遮罩+监督学习

在介绍最新的方法之前，先来了解一下过去手机的人像模式拍照到底是怎么实现的。

传统方法是使用二进制将图像分割，然后对分离出的背景进行虚化，在视觉上产生一种纵深感，由此也就能更加突出人物主体了。

虽然带来的视觉效果非常明显，但是在细节上的表现还不够强大。

由此，谷歌将常用于电影制作和摄影修图的Alpha遮罩搬到了手机上，提出了一个全新的神经网络，名叫“Portrait matting”。

其中，主干网络是MobileNetV3。

这是一个轻量级网络，特点是参数少、计算量小、推理时间短，在OCR、YOLO v3等任务上非常常见，具体结构长这样：

然后再利用一个浅层网络和一系列残差块，来进一步提升Alpha遮罩的精细度。

其中，这个浅层网络更加依赖于低层特征，由此可以得到高分辨率的结构特征，从而预测出每个像素的Alpha透明度。

通过这种方式，模型能够细化初始输入时的Alpha遮罩，也就实现了如上细节到头发丝的抠图效果。谷歌表示，神经网络Portrait matting可以使用Tensorflow Lite在Pixel 6 上运行。

此外，考虑到使用Alpha遮罩抠图时，背光太强往往会导致细节处理不好。

谷歌使用了体积视频捕捉方案The Relightables来生成高质量的数据集。

这是谷歌在2019年提出的一个系统，由一个球形笼子组成，装有331个可编程LED灯和大约100个用于捕获体积视频的摄像机。

相比于一般的数据集，这种方法可以让人物主体的光照情况与背景相匹配，由此也就能呈现更为逼真的效果。

而且这种方法还能满足人像被放置在不同场景中时，光线变化的需求。

值得一提的，谷歌还在这一方法中使用了监督学习的策略。

这是因为神经网络在抠图上的准确度和泛化能力还有待提升，而纯人工标注的工作量又太大了。

所以，研究人员利用标记好的数据集来训练神经网络，从而大量数据中来提高模型泛化能力。

One More Thing

用算法来优化摄影效果，其实是谷歌的传统艺能了。

比如Pixel 4中，就使用算法来拍摄星空。

HDR+算法更不必说，曾经引发过大众热议。

这一功能可以在相机启动时、没有按快门的情况下连续捕捉图像，并且会缓存最近保存的9张。这些照片将会与按下快门后的图像一并处理，最终得到一张最优的图像。

同时它还能让Pixel在夜间模式下拍照时，不用像其他手机那样长时间停留。

由于提升摄影效果不靠硬件，谷歌也将这些功能整合到一个APP上，适用于各种安卓手机。

感兴趣的小伙伴，可以去试玩看看or分享自己的体验~

参考链接：
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

相关推荐

零基础入门AI智能体:详细了解什么是变量类型、JSON结构、Markdown格式

当品牌跳出固有框架，以跨界联动、场景创新叩击年轻群体的兴趣点，一场关于如何在迭代中保持鲜活的探索正在展开，既藏着破圈的巧思，也映照着与新一代对话的密码。在创建AI智能体时，我们会调用插件或大模型，而在...

C# 13模式匹配:递归模式与属性模式在真实代码中的性能影响分析

C#13对模式匹配的增强让复杂数据处理代码更简洁，但递归模式与属性模式的性能差异一直是开发者关注的焦点。在实际项目中，选择合适的模式不仅影响代码可读性，还可能导致执行效率的显著差异。本文结合真实测试...

零基础快速入门 VBA 系列 6 —— 常用对象(工作簿、工作表和区域)

上一节，我介绍了VBA内置函数以及如何自动打字和自动保存文件。这一节，我们来了解一下Excel常用对象。Excel常用对象Excel有很多对象，其中最常用也最重要的包括以下3个：1.Workbo...

不同生命数字的生肖龙!准到雷普!

属龙的人总在自信爆棚和自讨苦吃之间反复横跳？看完这届龙宝宝的日常我悟了。属龙的人好像天生自带矛盾体：领导力超强可人缘时好时坏，工作雷厉风行却总在爱情里翻车。关键年份的龙性格差异更大——76年龙靠谱但不...

仓颉编程语言基础-面向对象编程-属性(Properties)

属性是仓颉颉中一种强大的机制，它允许你封装对类（或接口interface、结构体struct、枚举enum、扩展extend）内部状态的访问。它看起来像一个普通的成员变量（字段），但在其背后，它通过...

Python中class对象/属性/方法/继承/多态/魔法方法详解

一、基础入门：认识类和对象1.类和对象的概念在Python中，类（class）是一种抽象的概念，用于定义对象的属性和行为，而对象（也称为实例）则是类的具体表现。比如，“汽车”可以是一个类，它有...

VBA基础入门:搞清楚对象、属性和方法就成功了一半

如果你刚接触VBA（VisualBasicforApplications），可能会被“对象”“属性”“方法”这些术语搞得一头雾水。但事实上，这三个概念是VBA编程的基石。只要理解它们之间的关系，...

P.O类型文推荐|年度编推合集(一百九十五篇)

点击左上方关注获取更多精彩推文目录2019年度编推35篇(1V1)《悖论》作者：流苏.txt(1V1)《桂花蒸》作者：大姑娘浪.txt(1V1)《豪门浪女》作者：奚行.txt...

Python参数传递内存大揭秘:可变对象 vs 不可变对象

90%的Python程序员不知道，函数参数传递中可变对象的修改竟会导致意想不到的副作用！一、参数传递的本质：对象引用传递在Python中，所有参数传递都是对象引用的传递。这意味着函数调用时传递的不是对...

JS 开发者必看!TC39 2025 最新动向，这些新语法要火?

大家好，很高兴又见面了，我是"高级前端进阶"，由我带着大家一起关注前端前沿、深入前端底层技术，大家一起进步，也欢迎大家关注、点赞、收藏、转发，您的支持是我不断创作的动力。TC39第...

2025 年值得尝试的 5 个被低估的 JavaScript 库

这些JavaScript库可能不会在社交媒体或HackerNews上流行起来，但它们会显著提高您的工作效率和代码质量。JavaScript不再只是框架。虽然React、Vue和Sv...

Python自动化办公应用学习笔记30—函数的参数

一、函数的参数1.形参:o定义：在函数定义时，声明在函数名后面括号中的变量。o作用：它们是函数内部的占位符变量，用于接收函数被调用时传入的实际值。o生命周期：在函数被调用时创建，在函数执...

16种MBTI人格全解析|测完我沉默了三秒:原来我是这样的人?

MBTI性格测试火了这么久，你还不知道自己是哪一型？有人拿它当社交话题，有人拿它分析老板性格，还有人干脆当成择偶参考表。不废话，今天我一次性给你整理全部16种MBTI人格类型！看完你不仅能知道自己是谁...

JS基础与高级应用: 性能优化

在现代Web开发中，性能优化已成为前端工程师必须掌握的核心技能之一。本文从URL输入到页面加载完成的全过程出发，深入分析了HTTP协议的演进、域名解析、代码层面性能优化以及编译与渲染的最佳实践。通过节...

爱思创CSP-J/S初赛模拟赛线上开赛!助力冲入2024年CSP-J/S复赛!

CSP-J/S组初赛模拟赛爱思创，专注信奥教育19年，2022年CSP-J/S组赛事指定考点，特邀NOIP教练，开启全真实CSP-J/S组线上初赛模拟大赛！一、比赛对象：2024年备考CSP-J/S初...

一周热门
最近发表
标签列表