Python 进行人脸校正

发表于 | 分类于 | 阅读次数：
本文字数： 2.5k | 阅读时长 ≈ 2 分钟

问题描述

在做人脸识别的时候，前期的数据处理过程中可能会遇到一个问题，即将人脸从不同尺寸的图像中截取出来，再进行“对齐”操作。这样可以使每一个截取的人脸中的眼睛等位置处于同一位置，会对后面的识别算法起到一定的优化作用。

比如，下面 3 张图片所示，人脸的位置，图像的大小各不一样。我们所需要做的就是，将人脸从各个图片中截取出来，再旋转进行校正，使得眼睛在同一位置上，最后将图片的大小也统一调整为 224 x 224。

校正的效果如下图所示：

实现步骤

整个过程遵循以下几个步骤：

  • 找两眼间的直线距离并计算该直线与水平线之间的夹角，即倾斜角度
  • 根据找到的倾斜角度旋转图片
  • 在旋转后的图片中找到眼睛的位置
  • 根据眼睛坐标找到包含面部的框的宽度和高度
  • 调整图片的尺寸

1. 计算直线距离及倾斜角度

计算两眼之间的距离很简单，只要找出两个向量的坐标就可以计算出来。计算两眼之间的距离直线的倾斜角度，就是将两个向量相减，得到一组横纵坐标，然后利用 arctan 的公式求解角度，公式如下所示：

$$
\theta = arctan(vertor_y / vector_x)
$$
大多数 sin / cos 等函数要求角度为弧度，可以使用这个转换公式：angle = angle * 180 / π。

1
2
3
4
5
6
7
8
9
"""
1.找到眼睛倾斜的角度和两眼距离
"""
p1 = np.array(eye[0])[::-1] # 左眼坐标
p2 = np.array(eye[1])[::-1] # 右眼坐标
dist = np.sqrt(np.sum(p1-p2)**2) # 两只眼睛之间的距离

dp = p1 - p2
angle = np.arctan(dp[0] / dp[1])

2. 根据找到的角度旋转图片

上一步骤中，求出了眼睛的倾斜角度，这一步就可以使用该角度来旋转图片了。这里方便地调用 scipy.ndimage.rotate 来旋转图片。之后再计算出旋转后图片的中点。

1
2
3
4
5
6
7
8
9
"""
2. 旋转图片
"""
from scipy import ndimage

# 旋转图片
rot_img = ndimage.rotate(face, angle=+angle*180/np.pi)
# 旋转后图像的中点
rot_image_center = np.array((np.array(rot_img.shape[:2]) - 1) / 2, dtype=np.int)

3. 寻找旋转后眼睛的位置

寻找旋转后眼睛的位置，就是寻找旋转后两个点的坐标。旋转的时候，我们是以图片中点为原点来旋转的，因而需要先求解出原图片的原点，也就是图片的中心点。下面是以原点 (x0, y0) 为中心旋转后，求坐标的公式：

图片旋转的具体内容可以参考这个链接：https://blog.csdn.net/qianqing13579/article/details/52504089

1
2
3
4
5
6
7
8
9
10
11
12
13
"""
3. 在旋转后的图片中找到眼睛的坐标
"""

# 原两眼距离的中点
org_eye_center = np.array((p1 + p2) / 2, dtype=np.int)
# 原图像的中点
org_image_center = np.array((np.array(face.shape[:2]) - 1) / 2, dtype=np.int)
# 以图片中心进行旋转，在旋转后的图片中找到眼睛的中点
R = np.array([[np.cos(angle), np.sin(angle)], [-np.sin(angle), np.cos(angle)]])
rot_eye_center = np.dot(R, org_eye_center[::-1]
                        -org_image_center[::-1])[::-1] + rot_image_center
rot_eye_center = np.array(rot_eye_center, dtype=int)

4. 根据眼睛坐标找到包含面部的框的宽度和高度

找到旋转后眼睛的坐标，可以利用眼睛的坐标来框出人脸的大致范围。这里就直接看代码，从代码中比较好理解。

1
2
3
4
5
6
7
8
9
10
11
12
"""
4. 根据眼睛坐标找到包含面部的框的宽度和高度
"""
mid_y, mid_x = rot_eye_center
    
MUL = 2
y_top = int(max(mid_y - MUL * dist, 0))
y_bot = int(min(mid_y + MUL * dist, rot_img.shape[0]))
x_left = int(max(mid_x - MUL * dist, 0))
x_right = int(min(mid_x + MUL * dist, rot_img.shape[1]))
    
cropped_img = rot_img[y_top:y_bot+1, x_left:x_right+1, :]

5. 裁剪图片

将旋转并框出的人脸进行裁剪，将其设定为统一的尺寸。

1
2
3
4
5
6
7
"""
5. 裁剪图像的尺寸为 224x224
"""
import skimage.transform as transform

scaled_img = transform.resize(cropped_img, [224, 224], mode='constant')
plt.imshow(scaled_img)

完整的代码链接：face-alignment

参考文献

[1]. Coursera - Deep Learning in Computer Vision Week 1 assigment

[2]. 图像旋转的原理，实现与优化

[3]. Rotated image coordinates after scipy.ndimage.interpolation.rotate?