新 iPhone SE 2 单镜头也能拍出浅景深照,这是怎幺做到的?-

新 iPhone SE 2 单镜头也能拍出浅景深照,这是怎幺做到的?

阿里云服务器优惠

用单镜头拍出景深照并不是新鲜事,之前 iPhone XR 及更早的 Google Pixel 2 都有类似尝试。

苹果新推出的 iPhone SE 也是如此,但镜头元件过于老旧,主要功劳还是在新演算法。

▲ 左起为新 iPhone SE、iPhone 8 和 iPhone XR 的镜头感测器。

从 iFixit 拆解报告得知,新款 iPhone SE 某些零部件和 iPhone 8 完全相同,甚至可互换使用──就包括 1,200 万画素的广角镜头。

「旧瓶装新酒」对 iPhone SE 而言不稀奇。退回 4 年前,第一代 iPhone SE 也套用 5s 的外观和大部分硬体,只有晶片和 6s 一样,让用户以更低价格获得旗舰机的性能体验。

理论上,照搬相同的镜头硬体,两者拍照特性应该也不会有太大差异。比如 iPhone 8 就不支援拍主体清晰、背景模糊的小景深照片,也就是我们常说的「人像模式」。

但查阅苹果的支援页面时会发现,iPhone 8 不支援人像模式,新 iPhone SE 却有支援──哪怕两者都只有一颗后镜头,且规格完全一样。

正常情况下,手机拍「人像模式」景深照片都得靠双镜头──好比人类的双眼,位置不同的镜头取得两张不同角度的画面,然后结合视角差算出景深,做到背景有景深,保持主体清晰。

如今列表的 Plus 系列,或是近几年 X、 XS 和 11 等,基本都是靠多镜头系统做到人像景深。

那幺 iPhone 的前置单镜头又怎幺做到?核心在 Face ID 系统的红外点阵投影器,也能取得够精确的深度数据,相当「辅助镜头」。

这幺来看,iPhone SE 能拍人像模式照片就很特殊了:一来没有多镜头,二来没有 Face ID,基本没有硬体支援的可能性。

很显然,苹果在软体层面做了些看不到的改动。

最近,第三方相机应用 Halide 的开发者 Ben Sandofsky 就透露技术原理,解释为什幺新 iPhone SE 採用和 iPhone 8 一样的单镜头规格,但却可以做到后者无法做到的人像拍照模式。

他们表示,新 iPhone SE 很可能是「第一款只使用单一 2D 图像,就可以生成人像景深效果的 iPhone」。

你可能会反驳,iPhone XR 不也是单镜头拍景深的吗,难道 SE 就不是照搬?

然而拆解证明,iPhone SE 和 iPhone XR 的镜头不一样,这也导致两者技术有差异。

▲ 三星 Galaxy S7 系列是首次将 DPAF 技术用在智慧手机镜头的设备。

最重要的一点,iPhone XR 镜头可使用双画素自动对焦(DPAF)技术取得一定深度数据,而不完全只靠软体模拟。

简单来说,DPAF 技术相当于将镜头感测器的画素点,分割成两个更小的并排画素,捕捉两张角度不同的照片,就像人类左右眼。

虽然这产生的视角差不如原生双镜头明显,但仍有利演算法搆建深度讯息。

▲ Google Pixel 2、3 使用 DPAF 技术取得两张视差图,肉眼难以辨别,但仍可帮助图像分割演算法判断。

之前 Google 在 Pixel 2、3 也运用此技术达成单镜头拍出景深照。而在 Pixel 4,由于升级多镜头,视差探测明显比单镜头更精準。

▲ 再来看看 Pixel 4 靠两颗镜头获得的数据,视差更明显,也能收集到更精确的数据。

至于新 iPhone SE,由于感测器过于老旧,Halide 称无法依靠感测器取得视差,基本只能靠 A13 Bionic 晶片提供的机器学习演算法,模拟和生成深度数据图。

一句话解释就是,iPhone SE 的人像景深拍摄,真的就是完全靠软体和演算法。

▲ 使用 iPhone XR 和新 iPhone SE 直接拍这张照片。

Halide 用 iPhone XR 和新 iPhone SE 分别翻拍一张狗狗照(并非实物,只是拍「一张照片」),然后比较两张图的深度数据。

他们发现,iPhone XR 仅简单图像分割,将主体抓出来,但没有正确辨识出狗狗的耳朵。

▲ 深度数据图,左边是 iPhone XR,右边是新 iPhone SE。

但新 iPhone SE 配合 A13 晶片全新演算法,得到完全不同于 XR 的深度图,不仅正确辨识出小狗的耳朵和整体轮廓,还分层处理远近背景。

这种深度图不是 100% 準确,Halide 表示,新 iPhone SE 拍摄非人脸题材时,抓图和景深明显没有拍人像精确。

尤其主体和背景图十分模糊的情况下,此时多镜头头的优势较明显。

▲ 非人脸题材且主体和背景没有明显分割,新 iPhone SE 就很容易出错。

从上图可看到,配备多镜头系统的 iPhone 11 Pro,不仅能将圆木小植物轮廓完整勾出来,且还能辨识背景的远近距离,并分层处理。

▲ 深度数据图,左边是 iPhone 11 Pro,右边是新 iPhone SE。

而新 iPhone SE 儘管同样有分层处理,但主体和背景完全融在一起,后期处理时自然比 iPhone 11 Pro 差。

▲ 实际景深样张,左边是 iPhone 11 Pro,右边是新 iPhone SE。

这也是为什幺,现在新 iPhone SE 使用 iOS 内建相机应用时,只有检测到人脸的情况下,才能启用「人像模式」拍景深照片,其余都会出现错误提示,这点和 iPhone XR 一样。

原因仍然和苹果演算法有关。Halide 提及名为「Portrait Effects Matte」(人像效果遮罩)技术,主要用于人像模式拍照找出精确的人物轮廓,包括边缘髮丝、镜框等细节,以便分割主体和背景。

目前来看,这套基于机器学习的分割技术更偏向「拍人」,可弥补 iPhone XR 、iPhone SE 这类单镜头手机视差数据的不足,但如果拍摄对象从人物换成物体,演算法会有一定机率判定错误。

至于 iPhone 11 Pro 这类多镜头手机,就算抓图演算法有局限,还是可透过镜头硬体直接取得视差数据,所以使用内建相机时,也能在非人脸场景使用人像模式,效果不会太差。

▲ 新 iPhone SE 的前镜头也支援人像模式,对抓人脸準度非常高,成像差异只有散景效果。

当然,官方不支援的东西,第三方开发者还是可加以改造。如今 Halide 应用就支援 iPhone XR、SE 拍摄小动物或其他物体的景深照,背后也是利用苹果的人像效果遮罩技术来构建深度图,同时配合后端优化。

▲ 使用 Halide 等第三方应用,就可以用新 iPhone SE 拍非人脸题材的景深照。

总结此次新 iPhone SE 的人像景深照,算是单镜头手机靠软体优化的极限了。严格意义得归功于 A13 晶片,如果不是它的最新演算法,单靠一颗过时的镜头,SE 的拍摄体验显然得打对折。

这多少证明,智慧手机发展多镜投系统仍有意义。我们可用超广角拓宽取景视野,靠潜望式长焦获得无损变焦照片,更别说 ToF、雷射雷达这类「特殊镜头」对 AR 的帮助,这些都不是单靠 OTA 升级或演算法就能做到的特性。

当然,一味吹嘘、比拚镜头数量同样令人厌烦,如果说硬体只是决定成像下限,那幺优秀的演算法,就能显着拉升成像上限,甚至重新压搾出老硬体的价值和潜力。

不知道再等个 4 年,下一代 iPhone SE 面世时,单镜头还能否在手机业有一席之地?

赞(0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • potplayer
  • directx