【pynput】鼠标行为追踪并模拟

2023-12-24 05:40:17

利用本文内容从事的任何犯法行为和开发与本人无关,请理性利用技术服务大家,创建美好和谐的社会,让人们生活从繁琐中变得更加具有创造性!

前言

这前面文章中,提到了【实时屏幕捕获】的内容,这篇文章则是为大家介绍在现代计算机环境中,鼠标行为追踪的有效的方法,并通过记录和分析用户的鼠标操作,可以减少重复性工作,提高工作效率。尤其是在一些固定且重复的任务中,如接口测试、参数测试等,鼠标行为追踪为自动化提供了可能。

类似于手机上面的语言助手,不是有一个特定语言执行特定动作的功能吗,这个就类似于它,目前之所以做鼠标行为追踪并模拟是为了后面开展更加高级的功能。

基本思路

  1. 利用按键或时间限制捕获时间段
  2. 利用 OpenCV 实现鼠标位置点的追踪
  3. 记录每次操作位置点并回溯

安装依赖包

首先,我们需要安装所需的库。在终端或命令提示符中执行以下命令:

pip install opencv-python pyautogui numpy pynput

opencv-python:用于提供了丰富的图像处理和计算机视觉算法

pyautogui:用于捕获屏幕画面

numpy:用于处理大型多维数组和矩阵,以及执行与数据结构相关的数学运算

pynput:用于捕获以及控制鼠标和键盘

实时鼠标捕获

捕获鼠标位置

通过获取鼠标的位置,可以清晰地判断用户操作的区域:

from pynput import mouse as mos

# 鼠标控制器
mouse = mos.Controller()
# 获取当前鼠标位置
mouse.position

在这里插入图片描述

捕获鼠标事件

鼠标事件有三种分为:鼠标移动、点击以及滚轮滚动:

# 移动监听
def on_move(x, y):
	print(f'鼠标移动到了:{(x, y)}')

# 点击监听
def on_click(x, y, button, pressed):
    print(f'鼠标按键:{button},在位置处 {(x, y)}, {"按下了" if pressed else "释放了"} ')
    if not pressed:
        # 停止监听
        return False


# 滚动监听
def on_scroll(x, y, dx, dy):
	print(f'滚动中... {"向下:" if dy < 0 else "向上:"}{(x, y)}')

# 构造监听器对象
listener = mos.Listener(
	on_move=on_move,
	on_click=on_click,
	on_scroll=on_scroll)

# 监听启动 
listener.start()

在这里插入图片描述

记录点击内容

根据鼠标点击来记录用户点击内容,可以有效地分析用户的行为和爱好,更好地像学徒一样去理解用户的行为,从而达到掌握其技巧:

import pyautogui
import numpy as np
import cv2

user_click_pos = {'event': None, 'position': None}

# 获取屏幕画面并保存
def save_screen():
	# 获取屏幕截图
	screenshot = pyautogui.screenshot()
	# 将截图转换为 OpenCV 格式
	screen_img = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)
	# 保存截图
	cv2.imwrite("screen_img.png", screen_img)

# 点击监听并记录用户点击事件
def on_click(x, y, button, pressed):
	save_screen()
	user_click_pos['event'] = button
	user_click_pos['position'] = (x, y)
	if not pressed:
	    # 停止监听
	    return False

# 构造监听器对象
listener = mos.Listener(on_click=on_click)

# 监听启动
listener.start()

在这里插入图片描述

效果图

在这里插入图片描述

文章来源:https://blog.csdn.net/hjh_cos/article/details/135176102
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。