python操作windows桌面实现鼠标、键盘操作，python之pyautogui库文档详解

文章目录

• 一、概述
• • 1、概述
  • 2、安装
• 二、屏幕操作
• • 1、获取屏幕分辨率
  • 2、某个坐标是否在屏幕上
  • 3、获取当前鼠标位置
• 三、鼠标操作
• • 1、移动鼠标
  • 2、点击操作
  • 3、滚轮操作
  • 4、记录光标小程序
  • 5、鼠标拖拽
  • 6、缓动/渐变（Tween / Easing）函数
  • 99、保护措施（FAILSAFE ）
  • 99、延迟操作（PAUSE ）
• 四、键盘操作
• • 1、输入操作
  • 2、按键操作
  • 3、按键列表：
• 五、消息弹窗
• • 1、alert()函数
  • 2、confirm()函数
  • 3、prompt()函数
  • 4、password()函数
• 六、截屏函数
• • • 1、图片处理

一、概述

1、概述

PyAutoGUI是一个纯Python的GUI自动化工具，其目的是可以用程序自动控制鼠标和键盘操作，多平台支持（Windows，OS X，Linux）。

源码地址：https://github.com/asweigart/pyautogui

官方文档：https://github.com/asweigart/pyautogui/blob/master/docs/simplified-chinese.ipynb

PyAutoGUI可以模拟鼠标的移动、点击、拖拽，键盘按键输入、按住操作，以及鼠标+键盘的热键同时按住等操作，可以说手能动的都可以。

PyAutoGUI支持Python 2.x和Python 3.x。

2、安装

# Windows：PyAutoGUI没有任何依赖，因为它用Python的ctypes模块所以不需要pywin32pip install pyautogui# OS X：PyAutoGUI需要PyObjC运行AppKit和Quartz模块。这个模块在PyPI上的按住顺序是pyobjc-core和pyobjcsudo pip3 install pyobjc-coresudo pip3 install pyobjcsudo pip3 install pyautogui# Linux：PyAutoGUI需要python-xlib（Python 2）、python3-Xlib（Python 3）sudo pip3 install python3-xlibsudo apt-get scrotsudo apt-get install python-tksudo apt-get install python3-devsudo pip3 install pyautogui```

在python中引入（后续示例代码中，不会再额外贴出import代码）：

import pyautogui

二、屏幕操作

1、获取屏幕分辨率

# 获取屏幕分辨率（宽高） Size(width=1920, height=1080)screenWidth, screenHeight = pyautogui.size()

2、某个坐标是否在屏幕上

#(x,y)是否在屏幕上x, y = 122, 244pyautogui.onScreen(x, y)

3、获取当前鼠标位置

# Point(x=1184, y=744)pyautogui.position()

三、鼠标操作

屏幕位置使用X和Y轴的笛卡尔坐标系。原点(0,0)在左上角，分别向右、向下增大。

如果屏幕像素是1920 * 1080，那么右下角的坐标是(1919, 1079)

1、移动鼠标

moveTo()函数会把鼠标光标移动到指定的XY轴坐标处。如果传入None值，则表示使用当前光标的对象轴坐标值。

pyautogui.moveTo(100, 200) # 光标移动到(100, 200)位置pyautogui.moveTo(None, 500) # 光标移动到(100, 500)位置pyautogui.moveTo(600, None) # 光标移动到(600, 500)位置

一般鼠标光标都是瞬间移动到指定的位置，如果你想让鼠标移动的慢点，可以设置持续时间：
默认的持续时间pyautogui.MINIMUM_DURATION是0.1秒，如果你设置的时间比默认值还短，那么就会瞬间执行。

pyautogui.moveTo(100, 200, duration=2) # 用2秒把光标移动到(100, 200)位置

如果你想让光标以当前位置为原点，进行相对移动，就用pyautogui.moveRel()函数。例如：

pyautogui.moveTo(100, 200) #把光标移动到(100, 200)位置pyautogui.moveRel(0, 50) #向下移动50pyautogui.moveRel(30, 0, 2) #向右移动30pyautogui.moveRel(30, None) #向右移动30#用num_seconds秒的时间把光标的X轴（水平）坐标移动xOffset，#Y轴（竖直）坐标向下移动yOffset。xOffset, yOffset = 50, 100pyautogui.moveRel(xOffset, yOffset, duration=num_seconds)#用缓动/渐变函数让鼠标2秒后移动(500,500)位置pyautogui.moveRel(500, 500, duration=2, tween=pyautogui.easeInOutQuad)

2、点击操作

为了操作方便，PyAutoGUI提供了doubleClick()，tripleClick()和rightClick()来实现双击、三击和右击操作。

# 在鼠标位置单击pyautogui.click()# 在鼠标位置双击pyautogui.doubleClick()# click()函数就是让鼠标点击，默认是单击左键，参数可以设置：button属性可以设置成left，middle和rightpyautogui.click(x=moveToX, y=moveToY, clicks=num_of_clicks, interval=secs_between_clicks, button='left')#如果单机之前要先移动，可以把目标的XY坐标值传入函数：#先移动到(100, 200)再单击pyautogui.click(x=100, y=200, duration=2)# 所有的点击都可以用这个函数，不过下面的函数可读性更好：pyautogui.rightClick(x=moveToX, y=moveToY)pyautogui.middleClick(x=moveToX, y=moveToY)pyautogui.doubleClick(x=moveToX, y=moveToY)pyautogui.tripleClick(x=moveToX, y=moveToY)# 可以通过button参数设置left，middle和right三个键。例如：pyautogui.click(button='right')# 要做多次单击可以设置clicks参数，还有interval参数可以设置每次单击之间的时间间隔。例如：#双击左键pyautogui.click(clicks=2)#两次单击之间停留0.25秒pyautogui.click(clicks=2, interval=0.25)#三击右键pyautogui.click(button='right', clicks=2, interval=0.25)

mouseDown()和mouseUp()函数可以实现鼠标按下和鼠标松开的操作。两者参数相同，有x，y和button。例如：

# 鼠标每个按键按下和松开两个事件可以分开处理：pyautogui.mouseDown(x=moveToX, y=moveToY, button='left')pyautogui.mouseUp(x=moveToX, y=moveToY, button='left')#鼠标左键按下再松开pyautogui.mouseDown(); pyautogui.mouseUp() #按下鼠标右键pyautogui.mouseDown(button='right') #移动到(100, 200)位置，然后松开鼠标右键pyautogui.mouseUp(button='right', x=100, y=200) 

3、滚轮操作

鼠标滚轮滚动可以用scroll()函数和clicks次数参数来模拟。不同平台上的clicks次数不太一样。还有x和y参数可以在滚动之前定位到(x, y)位置。例如：

# scroll函数控制鼠标滚轮的滚动，amount_to_scroll参数表示滚动的格数。正数则页面向上滚动，负数则向下滚动：pyautogui.scroll(clicks=amount_to_scroll, x=moveToX, y=moveToY)#向上滚动10格pyautogui.scroll(10)#向下滚动10格pyautogui.scroll(-10)#移动到(100, 100)位置再向上滚动10格pyautogui.scroll(10, x=100, y=100)

在OS X和Linux平台上，PyAutoGUI还可以用hscroll()实现水平滚动。例如：

#向右滚动10格pyautogui.hscroll(10)#向左滚动10格pyautogui.hscroll(-10)

scroll()函数是vscroll()的一个包装（wrapper），执行竖直滚动。

4、记录光标小程序

# ! python 3import pyautoguiprint('Press Ctrl-C to quit')try:while True:x, y = pyautogui.position()positionStr = 'X: {} Y: {}'.format(*[str(x).rjust(4) for x in [x, y]])print(positionStr, end='')print('\b' * len(positionStr), end='', flush=True)except KeyboardInterrupt:print('\n')

5、鼠标拖拽

PyAutoGUI的dragTo()和dragRel()函数与moveTo()和moveRel()函数类似。另外，他们有一个button参数可以设置成left，middle和right三个键。例如：

#按住鼠标左键，把鼠标拖拽到(100, 200)位置pyautogui.dragTo(100, 200, button='left')#按住鼠标左键，用2秒钟把鼠标拖拽到(300, 400)位置pyautogui.dragTo(300, 400, 2, button='left')#按住鼠标右键，用2秒钟把鼠标拖拽到(30,0)位置pyautogui.dragTo(30, 0, 2, button='right')

6、缓动/渐变（Tween / Easing）函数

缓动/渐变函数的作用是让光标的移动更炫。如果你不需要用到的话，你可以忽略这些。

缓动/渐变函数可以改变光标移动过程的速度和方向。通常鼠标是匀速直线运动，这就是线性缓动/渐变函数。PyAutoGUI有30种缓动/渐变函数，可以通过pyautogui.ease*?查看。其中，pyautogui.easeInQuad()函数可以用于moveTo()，moveRel()，dragTo()和dragRel()函数，光标移动呈现先慢后快的效果，整个过程的时间还是和原来一样。而pyautogui.easeOutQuad函数的效果相反：光标开始移动很快，然后慢慢减速。pyautogui.easeOutElastic是弹簧效果，首先越过终点，然后再反弹回来。例如：

#开始很慢，不断加速pyautogui.moveTo(100, 100, 2, pyautogui.easeInQuad)#开始很快，不断减速pyautogui.moveTo(100, 100, 2, pyautogui.easeOutQuad)#开始和结束都快，中间比较慢pyautogui.moveTo(100, 100, 2, pyautogui.easeInOutQuad)#一步一徘徊前进pyautogui.moveTo(100, 100, 2, pyautogui.easeInBounce)#徘徊幅度更大，甚至超过起点和终点pyautogui.moveTo(100, 100, 2, pyautogui.easeInElastic)

99、保护措施（FAILSAFE ）

当pyautogui.FAILSAFE = True时，如果把鼠标光标在屏幕左上角，PyAutoGUI函数就会产生pyautogui.FailSafeException异常。如果失控了，需要中断PyAutoGUI函数，就把鼠标光标在屏幕左上角。要禁用这个特性，就把FAILSAFE设置成False：

pyautogui.FAILSAFE = False

99、延迟操作（PAUSE ）

通过把pyautogui.PAUSE设置成float或int时间（秒），可以为所有的PyAutoGUI函数增加延迟。默认延迟时间是0.1秒。在函数循环执行的时候，这样做可以让PyAutoGUI运行的慢一点，非常有用。例如：

pyautogui.PAUSE = 2.5pyautogui.moveTo(100,100); pyautogui.click()

所有的PyAutoGUI函数在延迟完成前都处于阻塞状态（block）。（未来计划增加一个可选的非阻塞模式来调用函数。）

建议PAUSE和FAILSAFE一起使用。

四、键盘操作

1、输入操作

键盘控制的主要函数就是typewrite()。这个函数可以实现字符输入。要在两次输入间增加时间间隔，可以用interval参数。例如：

#输入Hello world!pyautogui.typewrite('Hello world!')#每次输入间隔0.25秒，输入Hello world!pyautogui.typewrite('Hello world!', interval=0.25)# 多个键也可以：pyautogui.typewrite(['a', 'b', 'c', 'left', 'backspace', 'enter', 'f1'], interval=secs_between_keys)

2、按键操作

# 按下并抬起escpyautogui.press('esc')# 按下shift（一直按着）pyautogui.keyDown('shift')# 连续操作pyautogui.press(['left', 'left', 'left', 'left', 'left', 'left'])# 抬起shiftpyautogui.keyUp('shift')# 组合键 ： ctrl+cpyautogui.hotkey('ctrl', 'a') # 全选pyautogui.hotkey('ctrl', 'c') # 复制pyautogui.hotkey('ctrl', 'v') # 粘贴

3、按键列表：

pyautogui.KEYBOARD_KEYS['\t', '\n', '\r', ' ', '!', '"', '#', '$', '%', '&', "'", '(', ')', '*', '+', ',', '-', '.', '/', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', ':', ';', '<', '=', '>', '?', '@', '[', '\\', ']', '^', '_', '`', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '{', '|', '}', '~', 'accept', 'add', 'alt', 'altleft', 'altright', 'apps', 'backspace', 'browserback', 'browserfavorites', 'browserforward', 'browserhome', 'browserrefresh', 'browsersearch', 'browserstop', 'capslock', 'clear', 'convert', 'ctrl', 'ctrlleft', 'ctrlright', 'decimal', 'del', 'delete', 'divide', 'down', 'end', 'enter', 'esc', 'escape', 'execute', 'f1', 'f10', 'f11', 'f12', 'f13', 'f14', 'f15', 'f16', 'f17', 'f18', 'f19', 'f2', 'f20', 'f21', 'f22', 'f23', 'f24', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9', 'final', 'fn', 'hanguel', 'hangul', 'hanja', 'help', 'home', 'insert', 'junja', 'kana', 'kanji', 'launchapp1', 'launchapp2', 'launchmail', 'launchmediaselect', 'left', 'modechange', 'multiply', 'nexttrack', 'nonconvert', 'num0', 'num1', 'num2', 'num3', 'num4', 'num5', 'num6', 'num7', 'num8', 'num9', 'numlock', 'pagedown', 'pageup', 'pause', 'pgdn', 'pgup', 'playpause', 'prevtrack', 'print', 'printscreen', 'prntscrn', 'prtsc', 'prtscr', 'return', 'right', 'scrolllock', 'select', 'separator', 'shift', 'shiftleft', 'shiftright', 'sleep', 'space', 'stop', 'subtract', 'tab', 'up', 'volumedown', 'volumemute', 'volumeup', 'win', 'winleft', 'winright', 'yen', 'command', 'option', 'optionleft', 'optionright']

五、消息弹窗

如果你需要消息弹窗，通过单击OK暂停程序，或者向用户显示一些信息，消息弹窗函数就会有类似JavaScript的功能：

pyautogui.alert('这个消息弹窗是文字+OK按钮')pyautogui.confirm('这个消息弹窗是文字+OK+Cancel按钮')# 在prompt()函数中，如果用户什么都不输入，就会返回None。pyautogui.prompt('这个消息弹窗是让用户输入字符串，单击OK')

1、alert()函数

显示一个简单的带文字和OK按钮的消息弹窗。用户点击后返回button的文字。

pyautogui.alert(text='text内容', title='title内容', button='OK')

2、confirm()函数

显示一个简单的带文字、OK和Cancel按钮的消息弹窗，用户点击后返回被点击button的文字，支持自定义数字、文字的列表。

#OK和Cancel按钮的消息弹窗pyautogui.confirm(text='', title='', buttons=['OK', 'Cancel'])#10个按键0-9的消息弹窗pyautogui.confirm(text='', title='', buttons=range(10))

3、prompt()函数

可以输入的消息弹窗，带OK和Cancel按钮。用户点击OK按钮返回输入的文字，点击Cancel按钮返回None。

pyautogui.prompt(text='', title='' , default='')

4、password()函数

样式同prompt()，用于输入密码，消息用*表示。带OK和Cancel按钮。用户点击OK按钮返回输入的文字，点击Cancel按钮返回None。

pyautogui.password(text='', title='', default='', mask='*')

六、截屏函数

PyAutoGUI用Pillow/PIL库实现图片相关的识别和操作。

在Linux里面，你必须执行sudo apt-get install scrot来使用截屏特性。

1、图片处理

#返回一个Pillow/PIL的Image对象pyautogui.screenshot()pyautogui.screenshot('foo.png')# 如果你有一个图片文件想在上面做点击操作，你可以用locateOnScreen()函数来定位。#返回(最左x坐标，最顶y坐标，宽度，高度) (0, 1040, 48, 40)pyautogui.locateOnScreen('pyautogui/looks.png')# locateAllOnScreen()函数会寻找所有相似图片，返回一个生成器： (0, 1040, 48, 40)for i in pyautogui.locateAllOnScreen('pyautogui/looks.png'):print(i)list(pyautogui.locateAllOnScreen('pyautogui/looks.png')) # [(0, 1040, 48, 40)]# locateCenterOnScreen()函数会返回图片在屏幕上的中心XY轴坐标值：(24, 1060)pyautogui.locateCenterOnScreen('pyautogui/looks.png')

如果没找到图片会返回None。

定位比较慢，一般得用1~2秒