大致介绍
在python爬虫爬取某些网站的验证码的时候可能会遇到验证码识别的问题，现在的验证码大多分为四类：
1、计算验证码
2、滑块验证码
3、识图验证码
4、语音验证码
这篇博客主要写的就是识图验证码，识别的是简单的验证码，要想让识别率更高，识别的更加准确就需要花很多的精力去训练自己的字体库。
识别验证码通常是这几个步骤：
1、灰度处理
2、二值化
3、去除边框（如果有的话）
4、降噪
5、切割字符或者倾斜度矫正
6、训练字体库
7、识别
这6个步骤中前三个步骤是基本的，4或者5可根据实际情况选择是否需要，并不一定切割验证码，识别率就会上升很多有时候还会下降
这篇博客不涉及训练字体库的内容，请自行搜索。同样也不讲解基础的语法。
用到的几个主要的python库： Pillow(python图像处理库)、OpenCV(高级图像处理库)、pytesseract(识别库)
灰度处理&二值化
灰度处理，就是把彩色的验证码图片转为灰色的图片。
二值化，是将图片处理为只有黑白两色的图片，利于后面的图像处理和识别
在OpenCV中有现成的方法可以进行灰度处理和二值化，处理后的效果：
代码：
1 # 自适应阀值二值化 2 def \_get\_dynamic\_binary\_image(filedir, img\_name): 3 filename = './out\_img/' + img\_name.split('.')\[0\] + '\-binary.jpg' 4 img\_name = filedir + '/' + img\_name 5 print('.....' + img\_name) 6 im = cv2.imread(img\_name) 7 im = cv2.cvtColor(im,cv2.COLOR\_BGR2GRAY) #灰值化 8 # 二值化 9 th1 = cv2.adaptiveThreshold(im, 255, cv2.ADAPTIVE\_THRESH\_GAUSSIAN\_C, cv2.THRESH\_BINARY, 21, 1)10 cv2.imwrite(filename,th1)11 return th1去除边框
如果验证码有边框，那我们就需要去除边框，去除边框就是遍历像素点，找到四个边框上的所有点，把他们都改为白色，我这里边框是两个像素宽
注意：在用OpenCV时，图片的矩阵点是反的，就是长和宽是颠倒的
代码：
# 去除边框def clear\_border(img,img\_name):filename \= './out\_img/' + img\_name.split('.')\[0\] + '\-clearBorder.jpg'h, w \= img.shape\[:2\]for y in range(0, w):for x in range(0, h):if y w - 2:img\[x, y\] \= 255if x h -2:img\[x, y\] \= 255cv2.imwrite(filename,img)return img效果：
降噪
降噪是验证码处理中比较重要的一个步骤，我这里使用了点降噪和线降噪
线降噪的思路就是检测这个点相邻的四个点（图中标出的绿色点），判断这四个点中是白点的个数，如果有两个以上的白色像素点，那么就认为这个点是白色的，从而去除整个干扰线，但是这种方法是有限度的，如果干扰线特别粗就没有办法去除，只能去除细的干扰线
代码：
1 # 干扰线降噪 2 def interference\_line(img, img\_name): 3 filename ='./out\_img/' + img\_name.split('.')\[0\] + '\-interferenceline.jpg' 4 h, w = img.shape\[:2\] 5 # ！！！opencv矩阵点是反的 6 # img\[1,2\] 1:图片的高度，2：图片的宽度 7 for y in range(1, w - 1): 8 for x in range(1, h - 1): 9 count = 010 if img\[x, y - 1\] > 245:11 count = count + 112 if img\[x, y + 1\] > 245:13 count = count + 114 if img\[x - 1, y\] > 245:15 count = count + 116 if img\[x + 1, y\] > 245:17 count = count + 118 if count > 2:19 img\[x, y\] = 25520 cv2.imwrite(filename,img)21 return img点降噪的思路和线降噪的差不多，只是会针对不同的位置检测的点不一样,注释写的很清楚了
代码：
# 点降噪def interference\_point(img,img\_name, x = 0, y = 0):"""9邻域框,以当前点为中心的田字框,黑点个数:param x::param y::return:"""filename \='./out\_img/' + img\_name.split('.')\[0\] + '\-interferencePoint.jpg'# todo 判断图片的长宽度下限cur\_pixel = img\[x,y\]# 当前像素点的值height,width = img.shape\[:2\]for y in range(0, width - 1):for x in range(0, height - 1):if y == 0:# 第一行if x == 0:# 左上顶点,4邻域# 中心点旁边3个点sum = int(cur\_pixel) \\\+ int(img\[x, y + 1\]) \\\+ int(img\[x + 1, y\]) \\\+ int(img\[x + 1, y + 1\])if sum <= 2 \* 245:img\[x, y\] \= 0elif x == height - 1:# 右上顶点sum = int(cur\_pixel) \\\+ int(img\[x, y + 1\]) \\\+ int(img\[x - 1, y\]) \\\+ int(img\[x - 1, y + 1\])if sum <= 2 \* 245:img\[x, y\] \= 0else:# 最上非顶点,6邻域sum = int(img\[x - 1, y\]) \\\+ int(img\[x - 1, y + 1\]) \\+ int(cur\_pixel) \\\+ int(img\[x, y + 1\]) \\\+ int(img\[x + 1, y\]) \\\+ int(img\[x + 1, y + 1\])if sum <= 3 \* 245:img\[x, y\] \= 0elif y == width - 1:# 最下面一行if x == 0:# 左下顶点# 中心点旁边3个点sum = int(cur\_pixel) \\\+ int(img\[x + 1, y\]) \\\+ int(img\[x + 1, y - 1\]) \\\+ int(img\[x, y - 1\])if sum <= 2 \* 245:img\[x, y\] \= 0elif x == height - 1:# 右下顶点sum = int(cur\_pixel) \\\+ int(img\[x, y - 1\]) \\\+ int(img\[x - 1, y\]) \\\+ int(img\[x - 1, y - 1\])if sum <= 2 \* 245:img\[x, y\] \= 0else:# 最下非顶点,6邻域sum = int(cur\_pixel) \\\+ int(img\[x - 1, y\]) \\\+ int(img\[x + 1, y\]) \\\+ int(img\[x, y - 1\]) \\\+ int(img\[x - 1, y - 1\]) \\\+ int(img\[x + 1, y - 1\])if sum <= 3 \* 245:img\[x, y\] \= 0else:# y不在边界if x == 0:# 左边非顶点sum = int(img\[x, y - 1\]) \\+ int(cur\_pixel) \\\+ int(img\[x, y + 1\]) \\\+ int(img\[x + 1, y - 1\]) \\\+ int(img\[x + 1, y\]) \\\+ int(img\[x + 1, y + 1\])if sum <= 3 \* 245:img\[x, y\] \= 0elif x == height - 1:# 右边非顶点sum = int(img\[x, y - 1\]) \\+ int(cur\_pixel) \\\+ int(img\[x, y + 1\]) \\\+ int(img\[x - 1, y - 1\]) \\\+ int(img\[x - 1, y\]) \\\+ int(img\[x - 1, y + 1\])if sum <= 3 \* 245:img\[x, y\] \= 0else:# 具备9领域条件的sum = int(img\[x - 1, y - 1\]) \\\+ int(img\[x - 1, y\]) \\\+ int(img\[x - 1, y + 1\]) \\\+ int(img\[x, y - 1\]) \\+ int(cur\_pixel) \\\+ int(img\[x, y + 1\]) \\\+ int(img\[x + 1, y - 1\]) \\\+ int(img\[x + 1, y\]) \\\+ int(img\[x + 1, y + 1\])if sum <= 4 \* 245:img\[x, y\] \= 0cv2.imwrite(filename,img)return img效果：
其实到了这一步，这些字符就可以识别了，没必要进行字符切割了，现在这三种类型的验证码识别率已经达到50%以上了
字符切割
字符切割通常用于验证码中有粘连的字符，粘连的字符不好识别，所以我们需要将粘连的字符切割为单个的字符，在进行识别
字符切割的思路就是找到一个黑色的点，然后在遍历与他相邻的黑色的点，直到遍历完所有的连接起来的黑色的点，找出这些点中的最高的点、最低的点、最右边的点、最左边的点，记录下这四个点，认为这是一个字符，然后在向后遍历点，直至找到黑色的点，继续以上的步骤。最后通过每个字符的四个点进行切割
图中红色的点就是代码执行完后，标识出的每个字符的四个点，然后就会根据这四个点进行切割（图中画的有些误差，懂就好）
但是也可以看到，m2是粘连的，代码认为他是一个字符，所以我们需要对每个字符的宽度进行检测，如果他的宽度过宽，我们就认为他是两个粘连在一起的字符，并将它在从中间切割
确定每个字符的四个点代码：
def cfs(im,x\_fd,y\_fd):'''用队列和集合记录遍历过的像素坐标代替单纯递归以解决cfs访问过深问题'''# print('\*\*\*\*\*\*\*\*\*\*')xaxis\=\[\]yaxis\=\[\]visited \=set()q \= Queue()q.put((x\_fd, y\_fd))visited.add((x\_fd, y\_fd))offsets\=\[(1, 0), (0, 1), (-1, 0), (0, -1)\]#四邻域while not q.empty():x,y\=q.get()for xoffset,yoffset in offsets:x\_neighbor,y\_neighbor \= x+xoffset,y+yoffsetif (x\_neighbor,y\_neighbor) in (visited):continue# 已经访问过了visited.add((x\_neighbor, y\_neighbor))try:if im\[x\_neighbor, y\_neighbor\] == 0:xaxis.append(x\_neighbor)yaxis.append(y\_neighbor)q.put((x\_neighbor,y\_neighbor))except IndexError:pass# print(xaxis)if (len(xaxis) == 0 | len(yaxis) == 0):xmax \= x\_fd + 1xmin \= x\_fdymax \= y\_fd + 1ymin \= y\_fdelse:xmax \= max(xaxis)xmin \= min(xaxis)ymax \= max(yaxis)ymin \= min(yaxis)#ymin,ymax=sort(yaxis)return ymax,ymin,xmax,xmindef detectFgPix(im,xmax):'''搜索区块起点'''h,w \= im.shape\[:2\]for y\_fd in range(xmax+1,w):for x\_fd in range(h):if im\[x\_fd,y\_fd\] == 0:return x\_fd,y\_fddef CFS(im):'''切割字符位置'''zoneL\=\[\]#各区块长度L列表zoneWB=\[\]#各区块的X轴\[起始，终点\]列表zoneHB=\[\]#各区块的Y轴\[起始，终点\]列表xmax\=0#上一区块结束黑点横坐标,这里是初始化for i in range(10):try:x\_fd,y\_fd \= detectFgPix(im,xmax)# print(y\_fd,x\_fd)xmax,xmin,ymax,ymin=cfs(im,x\_fd,y\_fd)L \= xmax - xminH \= ymax - yminzoneL.append(L)zoneWB.append(\[xmin,xmax\])zoneHB.append(\[ymin,ymax\])except TypeError:return zoneL,zoneWB,zoneHBreturn zoneL,zoneWB,zoneHB分割粘连字符代码：
# 切割的位置im\_position = CFS(im)maxL \= max(im\_position\[0\])minL \= min(im\_position\[0\])# 如果有粘连字符，如果一个字符的长度过长就认为是粘连字符，并从中间进行切割if(maxL > minL + minL \* 0.7):maxL\_index \= im\_position\[0\].index(maxL)minL\_index \= im\_position\[0\].index(minL)# 设置字符的宽度im\_position\[0\]\[maxL\_index\] = maxL // 2im\_position\[0\].insert(maxL\_index \+ 1, maxL // 2)# 设置字符X轴\[起始，终点\]位置im\_position\[1\]\[maxL\_index\]\[1\] = im\_position\[1\]\[maxL\_index\]\[0\] + maxL // 2im\_position\[1\].insert(maxL\_index + 1, \[im\_position\[1\]\[maxL\_index\]\[1\] + 1, im\_position\[1\]\[maxL\_index\]\[1\] + 1 + maxL // 2\])# 设置字符的Y轴\[起始，终点\]位置im\_position\[2\].insert(maxL\_index + 1, im\_position\[2\]\[maxL\_index\])# 切割字符，要想切得好就得配置参数，通常 1 or 2 就可以cutting\_img(im,im\_position,img\_name,1,1)切割粘连字符代码：
def cutting\_img(im,im\_position,img,xoffset = 1,yoffset = 1):filename \='./out\_img/' + img.split('.')\[0\]# 识别出的字符个数im\_number = len(im\_position\[1\])# 切割字符for i in range(im\_number):im\_start\_X \= im\_position\[1\]\[i\]\[0\] - xoffsetim\_end\_X \= im\_position\[1\]\[i\]\[1\] + xoffsetim\_start\_Y \= im\_position\[2\]\[i\]\[0\] - yoffsetim\_end\_Y \= im\_position\[2\]\[i\]\[1\] + yoffsetcropped \= im\[im\_start\_Y:im\_end\_Y, im\_start\_X:im\_end\_X\]cv2.imwrite(filename \+ '\-cutting-' + str(i) + '.jpg',cropped)效果：
识别
识别用的是typesseract库，主要识别一行字符和单个字符时的参数设置，识别中英文的参数设置，代码很简单就一行，我这里大多是filter文件的操作
代码：
# 识别验证码cutting\_img\_num = 0for file in os.listdir('./out\_img'):str\_img \= ''if fnmatch(file, '%s-cutting-\*.jpg' % img\_name.split('.')\[0\]):cutting\_img\_num += 1for i in range(cutting\_img\_num):try:file \= './out\_img/%s-cutting-%s.jpg' % (img\_name.split('.')\[0\], i)# 识别字符str\_img = str\_img + image\_to\_string(Image.open(file),lang = 'eng', config='\-psm 10') #单个字符是10，一行文本是7except Exception as err:passprint('切图：%s' % cutting\_img\_num)print('识别为：%s' % str\_img)最后这种粘连字符的识别率是在30%左右，而且这种只是处理两个字符粘连，如果有两个以上的字符粘连还不能识别，但是根据字符宽度判别的话也不难，有兴趣的可以试一下
无需切割字符识别的效果：
需要切割字符的识别效果：
这种只是能够识别简单验证码，复杂的验证码还要靠大家了
使用方法：
1、将要识别的验证码图片放入与脚本同级的img文件夹中，创建out_img文件夹
2、python3 filename
3、二值化、降噪等各个阶段的图片将存储在out_img文件夹中，最终识别结果会打印到屏幕上
最后附上源码（带切割，不想要切割的就自己修改吧）：
1 from PIL import Image2 from pytesseract import \*3 from fnmatch import fnmatch4 from queue import Queue5 import matplotlib.pyplot as plt6 import cv27 import time8 import os91011121314 def clear\_border(img,img\_name): 15 '''去除边框 16 ''' 1718 filename = './out\_img/' + img\_name.split('.')\[0\] + '\-clearBorder.jpg' 19 h, w = img.shape\[:2\] 20 for y in range(0, w): 21 for x in range(0, h): 22 # if y ==0 or y == w -1 or y == w - 2: 23 if y w -4: 24 img\[x, y\] = 255 25 # if x == 0 or x == h - 1 or x == h - 2: 26 if x h - 4: 27 img\[x, y\] = 255 2829 cv2.imwrite(filename,img) 30 return img 313233 def interference\_line(img, img\_name): 34 ''' 35 干扰线降噪 36 ''' 3738 filename ='./out\_img/' + img\_name.split('.')\[0\] + '\-interferenceline.jpg' 39 h, w = img.shape\[:2\] 40 # ！！！opencv矩阵点是反的 41 # img\[1,2\] 1:图片的高度，2：图片的宽度 42 for y in range(1, w - 1): 43 for x in range(1, h - 1): 44 count = 0 45 if img\[x, y - 1\] > 245: 46 count = count + 1 47 if img\[x, y + 1\] > 245: 48 count = count + 1 49 if img\[x - 1, y\] > 245: 50 count = count + 1 51 if img\[x + 1, y\] > 245: 52 count = count + 1 53 if count > 2: 54 img\[x, y\] = 255 55 cv2.imwrite(filename,img) 56 return img 5758 def interference\_point(img,img\_name, x = 0, y = 0): 59 """点降噪 60 9邻域框,以当前点为中心的田字框,黑点个数 61 :param x: 62 :param y: 63 :return: 64 """ 65 filename ='./out\_img/' + img\_name.split('.')\[0\] + '\-interferencePoint.jpg' 66 # todo 判断图片的长宽度下限 67 cur\_pixel = img\[x,y\]# 当前像素点的值 68 height,width = img.shape\[:2\] 6970 for y in range(0, width - 1): 71 for x in range(0, height - 1): 72 if y == 0:# 第一行 73 if x == 0:# 左上顶点,4邻域 74 # 中心点旁边3个点 75 sum = int(cur\_pixel) \\ 76 + int(img\[x, y + 1\]) \\ 77 + int(img\[x + 1, y\]) \\ 78 + int(img\[x + 1, y + 1\]) 79 if sum <= 2 \* 245: 80 img\[x, y\] = 0 81 elif x == height - 1:# 右上顶点 82 sum = int(cur\_pixel) \\ 83 + int(img\[x, y + 1\]) \\ 84 + int(img\[x - 1, y\]) \\ 85 + int(img\[x - 1, y + 1\]) 86 if sum <= 2 \* 245: 87 img\[x, y\] = 0 88 else:# 最上非顶点,6邻域 89 sum = int(img\[x - 1, y\]) \\ 90 + int(img\[x - 1, y + 1\]) \\ 91 + int(cur\_pixel) \\ 92 + int(img\[x, y + 1\]) \\ 93 + int(img\[x + 1, y\]) \\ 94 + int(img\[x + 1, y + 1\]) 95 if sum <= 3 \* 245: 96 img\[x, y\] = 0 97 elif y == width - 1:# 最下面一行 98 if x == 0:# 左下顶点 99 # 中心点旁边3个点100 sum = int(cur\_pixel) \\101 + int(img\[x + 1, y\]) \\102 + int(img\[x + 1, y - 1\]) \\103 + int(img\[x, y - 1\])104 if sum <= 2 \* 245:105 img\[x, y\] = 0106 elif x == height - 1:# 右下顶点107 sum = int(cur\_pixel) \\108 + int(img\[x, y - 1\]) \\109 + int(img\[x - 1, y\]) \\110 + int(img\[x - 1, y - 1\])111 112 if sum <= 2 \* 245:113 img\[x, y\] = 0114 else:# 最下非顶点,6邻域115 sum = int(cur\_pixel) \\116 + int(img\[x - 1, y\]) \\117 + int(img\[x + 1, y\]) \\118 + int(img\[x, y - 1\]) \\119 + int(img\[x - 1, y - 1\]) \\120 + int(img\[x + 1, y - 1\])121 if sum <= 3 \* 245:122 img\[x, y\] = 0123 else:# y不在边界124 if x == 0:# 左边非顶点125 sum = int(img\[x, y - 1\]) \\126 + int(cur\_pixel) \\127 + int(img\[x, y + 1\]) \\128 + int(img\[x + 1, y - 1\]) \\129 + int(img\[x + 1, y\]) \\130 + int(img\[x + 1, y + 1\])131 132 if sum <= 3 \* 245:133 img\[x, y\] = 0134 elif x == height - 1:# 右边非顶点135 sum = int(img\[x, y - 1\]) \\136 + int(cur\_pixel) \\137 + int(img\[x, y + 1\]) \\138 + int(img\[x - 1, y - 1\]) \\139 + int(img\[x - 1, y\]) \\140 + int(img\[x - 1, y + 1\])141 142 if sum <= 3 \* 245:143 img\[x, y\] = 0144 else:# 具备9领域条件的145 sum = int(img\[x - 1, y - 1\]) \\146 + int(img\[x - 1, y\]) \\147 + int(img\[x - 1, y + 1\]) \\148 + int(img\[x, y - 1\]) \\149 + int(cur\_pixel) \\150 + int(img\[x, y + 1\]) \\151 + int(img\[x + 1, y - 1\]) \\152 + int(img\[x + 1, y\]) \\153 + int(img\[x + 1, y + 1\])154 if sum <= 4 \* 245:155 img\[x, y\] = 0156 cv2.imwrite(filename,img)157 return img158 159 def \_get\_dynamic\_binary\_image(filedir, img\_name):160 '''161 自适应阀值二值化162 '''163 164 filename = './out\_img/' + img\_name.split('.')\[0\] + '\-binary.jpg'165 img\_name = filedir + '/' + img\_name166 print('.....' + img\_name)167 im = cv2.imread(img\_name)168 im = cv2.cvtColor(im,cv2.COLOR\_BGR2GRAY)169 170 th1 = cv2.adaptiveThreshold(im, 255, cv2.ADAPTIVE\_THRESH\_GAUSSIAN\_C, cv2.THRESH\_BINARY, 21, 1)171 cv2.imwrite(filename,th1)172 return th1173 174 def \_get\_static\_binary\_image(img, threshold = 140):175 '''176 手动二值化177 '''178 179 img = Image.open(img)180 img = img.convert('L')181 pixdata = img.load()182 w, h = img.size183 for y in range(h):184 for x in range(w):185 if pixdata\[x, y\] minL + minL \* 0.7):321 maxL\_index = im\_position\[0\].index(maxL)322 minL\_index = im\_position\[0\].index(minL)323 # 设置字符的宽度324 im\_position\[0\]\[maxL\_index\] = maxL // 2325 im\_position\[0\].insert(maxL\_index + 1, maxL // 2)326 # 设置字符X轴\[起始，终点\]位置327 im\_position\[1\]\[maxL\_index\]\[1\] = im\_position\[1\]\[maxL\_index\]\[0\] + maxL // 2328 im\_position\[1\].insert(maxL\_index + 1, \[im\_position\[1\]\[maxL\_index\]\[1\] + 1, im\_position\[1\]\[maxL\_index\]\[1\] + 1 + maxL // 2\])329 # 设置字符的Y轴\[起始，终点\]位置330 im\_position\[2\].insert(maxL\_index + 1, im\_position\[2\]\[maxL\_index\])331 332 # 切割字符，要想切得好就得配置参数，通常 1 or 2 就可以333 cutting\_img(im,im\_position,img\_name,1,1)334 335 # 识别验证码336 cutting\_img\_num = 0337 for file in os.listdir('./out\_img'):338 str\_img = ''339 if fnmatch(file, '%s-cutting-\*.jpg' % img\_name.split('.')\[0\]):340 cutting\_img\_num += 1341 for i in range(cutting\_img\_num):342 try:343 file = './out\_img/%s-cutting-%s.jpg' % (img\_name.split('.')\[0\], i)344 # 识别验证码345 str\_img = str\_img + image\_to\_string(Image.open(file),lang = 'eng', config='\-psm 10') #单个字符是10，一行文本是7346 except Exception as err:347 pass348 print('切图：%s' % cutting\_img\_num)349 print('识别为：%s' % str\_img)350 351 if \_\_name\_\_ == '\_\_main\_\_':352 main()View Code
写在最后
今天小编也给大家分享一份Python学习资料和公开课，里面的内容都是适合零基础小白的笔记和资料，不懂编程也能听懂、看懂。
朋友们如果需要可以点击这里【免费获取】
一、Python所有方向的学习路线
刚开始学习python，如果你连完整的学习步骤都没有规划好，基本不可能学会python。他把Python所有方向路线做了整理，形成各个领域的知识点汇总。（图片太太太太太大了，这里放不了没完整版可以文末免费领取）
二、入门学习视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
三、实践是检验真理的唯一标准
学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。
因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。
四、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
