首页文章工具软件

工具软件

自动化操作工具键鼠自动化图像识别网页自动化 excel自动化截图ocr 解压缩自动化 | AutomationOperation (v4.9.2)

枫枫叶 2026-09-05 发布 · 约 21 分钟读完 0 阅读 0 点赞

AutomationOperation 是一款 Windows 自动化操作软件（主界面：AutomationOperation.exe）。通过“模板/流程”配置，让软件按顺序自动执行鼠标、键盘、识别、浏览器等操作，适合处理重复性工作。

软件简介：

功能概览：

自动化模板

鼠标：移动/单击/双击/拖动/滚轮（支持 Ctrl/Shift/Alt + 滚轮、左键按下/弹起、点击次数与点击后延时）；坐标支持固定或变量输入

键盘：文本输入/特殊按键（支持只按下/只释放）；文本可来自变量；前台模式可选“输入前点击”

识别：

图片识别：单图/多图（最多 5 张），支持全屏/指定区域、并行搜索、随机点击点、结果写入布尔变量

颜色识别：单色/多色（最多 10 个），支持区域框选与取色放大镜（显示 HEX/RGB、方向键微调、回车/左键确认）

文字识别：OCR（PaddleOCR），支持全屏/区域；可“识别点击”或“OCR 读取”；结果可复制到剪贴板或存入变量，并可输出布尔结果

等待与延迟：延迟（固定/随机/变量时间，单位毫秒，最小 1ms）；等待条件（程序/文件/窗口/图片/文字/颜色等，支持超时/检查间隔/无限等待；图片等待支持灰度与屏幕变化跳帧优化，支持后台等待）

文件与程序：打开文件/文件夹；启动程序；文件名修改（单文件/批量、通配符与子目录、模板变量）；压缩/解压（zip/7z/rar，可选密码/分卷/删除源文件）

浏览器：浏览器管理（Edge/Chromium/Firefox/WebKit，有头/无头、窗口大小、登录复用）；页面跳转、元素点击、输入/读取、截图；支持智能选择器拾取

屏幕截图：全屏/区域/窗口截图，保存到指定目录；支持文件名模板（如 screenshot_{yyyyMMdd_HHmmss}.png）、覆盖或自动重命名；支持 GDI / DXGI / PrintWindow（PrintWindow 需先绑定窗口）

录制与选点

录制：录制鼠标（含滚轮与修饰键）、键盘输入（自动转换为特殊按键）、截图/图片识别（默认 Shift+Q 或按钮）

坐标模式：

绝对坐标：屏幕坐标

相对坐标：相对当前鼠标位置的偏移

窗口坐标：相对目标窗口客户区坐标（用于后台点击）

工具：适配多屏幕选点；快速截图、拾取颜色、框选区域；截图支持 GDI / DXGI / PrintWindow（适配 DPI 缩放与后台识别），选点/截图时隐藏主界面

运行与控制

执行模式：前台（SendInput）/ 后台（SendMessage）/ 驱动键鼠（罗技 G HUB，需安装驱动并加载 AutomationGHUB.driver.dll）

循环：循环/无限循环、最长执行时间；内循环（开始/结束/跳出）可在两个节点之间重复执行 N 次（N 可固定或来自变量），支持无限循环；可将“当前迭代次数”写入变量，并支持布尔变量条件跳出；

失败与错误处理：识别/等待等步骤可设置失败后处理（停止/继续/跳转序号/进入下一个循环/执行其他配置/等待确认）；可选择“报错后停止/继续”

快捷控制：暂停/继续（默认 F6）、单步执行（默认 F10）、取消执行、强制退出；多套流程可各自配置热键（最多 10 个）

托盘与定时：托盘菜单一键执行/取消、开机自启开关、定时器状态显示；支持多个时间段定时执行并每日重置

配置与界面

配置管理：保存/另存为、新建/清除；配置名可修改；支持从不同文件夹加载；标题显示当前执行配置

操作列表：拖拽排序；Ctrl/Ctrl+Alt + 方向键调整顺序；右键插入；复制粘贴（模板或文本）；Shift/Ctrl 多选；分页显示（每页最多 25）

通知与安全：toast/气泡提示、提醒铃声；同目录单实例运行避免重复打开

操作示例：批量读取文件名 → 网络检索 → 重命名

下面以“视频文件名 = 电影名”为例：自动用电影名搜索演员信息，然后把演员写进文件名。

0) 准备数据

文件尽量命名为“电影名”，例如：盗梦空间.mkv、

如果同一批文件后缀一致，后续操作更简单（例如全是 .mkv）

1) 设置变量参数（把配置做成可复用的“参数”）

添加步骤：设置变量

ext：.mkv（后缀名；如果你的文件是 .mp4 就改成 .mp4）

i：0（数值变量；用于内循环索引）

movieName / actors：可先建空字符串变量（用于存放中间结果）

变量占位符有两套写法：

${变量名}：用于支持“变量解析”的文本输入框（例如页面跳转 URL、浏览器输入内容等），并支持简单函数：replace、split、trim、append/prepend

示例：https://www.bing.com/search?q=${movieName|replace(‘ ‘,’+’)}+演员

{变量名}：用于文件名修改的“新文件名”模板（以及批量模式内置 {index}/{name}/{ext}/{date}/{time}）

2) 读取文件夹里的文件名列表

添加步骤：变量读取(文件名)

文件夹路径：选择视频所在目录

文件过滤器：如 *.mkv

输出变量：例如 movieList（列表变量；如无可选项，先在变量管理中创建一个列表变量名）

3) 用内循环遍历每一个文件名

添加：内循环(开始) / 内循环(结束)，把“循环体”步骤包起来

在内循环(开始) 中开启“输出当前迭代次数到变量”，选择 i（从 0 开始，正好当列表索引）

循环次数：设置为文件数量

4) 取出当前电影名（movieList[i]）

添加步骤：变量操作 → 字符串拼接

第一段：选择源变量 movieList，启用“列表索引”，索引模式选“变量索引”，索引变量选 i

第二段：留空

结果变量名：movieName

5) 搜索网络信息并写入变量（示例：抓取演员）

添加步骤：浏览器管理（打开 Edge/Chromium，建议先用“有头”模式便于拾取元素）

添加步骤：页面跳转

URL 示例：https://www.bing.com/search?q=${movieName|replace(‘ ‘,’+’)}+演员

添加步骤：浏览器输入/输出 → 输出模式 → 存入变量

用“拾取元素”在网页上点选你要的“演员”文本所在元素

输出变量：actors

不同网站 DOM 结构不同，可用“拾取元素”生成选择器

6) 清洗变量并重命名文件

（建议）添加步骤：变量操作 → 字符串替换（勾选正则）

源变量：actors

搜索模式：[\\/:*?\”<>|]

替换文本：_

结果变量名：actorsSafe

添加步骤：变量操作 → 字符串拼接

第一段：源变量 movieName

第二段：源变量 ext（或固定文本直接写 .mkv）

结果变量名：oldFileName

添加步骤：文件名修改 → 单文件

原文件名：选择“变量输入”，变量名选 oldFileName

新文件名：手动输入，例如：{movieName}-{actorsSafe}{ext}

操作示例：文件夹图片 OCR → 追加输出到 TXT

目标：对文件夹内图片依次 OCR（全屏或指定区域），识别结果不断追加写入同一个 .txt 文件。

0) 准备

先用系统图片查看器打开该文件夹里的“第一张图片”，并进入全屏（不同查看器全屏热键不同，常见为 F11）

在软件里准备变量：ocrText（字符串）、empty（字符串，内容留空）

1) 可选：先清空输出 txt

添加步骤：变量输出

变量名：empty

输出目标：文本文件

选择输出路径：例如 C:\\output\\ocr.txt

追加到文件：关闭（覆盖写入，相当于清空）

2)打开图片内

打开文件夹，选择路径

键盘：发送“ENTER”

延迟：建议 200~500ms（让图片切换完成再 OCR）

3) 内循环：OCR → 写入 txt → 下一张

添加：内循环(开始) / 内循环(结束) 包住以下步骤（循环次数设置为已知的张数）

循环体内按顺序添加：

文字识别：模式选“识别文字”，范围选“全屏搜索”（或先框选区域），输出方式选“存入变量”，输出变量填 ocrText

变量输出：输出目标选“文本文件”，变量名选 ocrText，输出路径选同一个 ocr.txt，勾选“追加到文件”

键盘：发送“右方向键（→）”切到下一张图片（如果你的查看器是其它快捷键，请按实际修改）

延迟：建议 200~500ms（让图片切换完成再 OCR）

更新日志：

9.2 1.标签跳转优化。2.文字识别等输出结果重置。
9.3 修复跳转bug，优化标签跳转。
0.0 1.增加ai模板助手，可以使用deepseek等api。2.局部支持WIN7。 WIN7 需要下载安装 win7 VC_redist.x64 、Windows6.1-KB3063858-x64、windowsdesktop-runtime-10.0.4-win-x64 。
1.0 1.ai模板助手升级为deepseek-v4-flash ，增加思考模式、思考强度选择。2.增加YOLO模板和YOLO示例，可以加载yolo11n.onnx ，测试Test.jpg 测试YOLO功能。3.变量中心UI 修复字符串输入只有单行问题。
2.0 1.修改选择执行模式样式，主页模板同步修改。2.增加HID模式，可以参考https://github.com/iiopol12/usb_hid_dual_type 需要使用ESP32s3，其他芯片若有两个USB口一个可以USB OTG 一个UART转USB也是可行。3.增加ADB模式，可以在雷电等手机安卓模拟器中使用。
3.0 1.ADB 模式支持 Base64 图片模板识别。2.针对滑块增加识别策略。3.ADB 模式增强 4.增加“停止快捷键” 5.托盘新增后台任务，可以在设置中配置最大后台任务数、同配置重复启动策略。
3.1 1.设置页里也新增了 ADB 状态列表等。2.后台窗口绑定增强。3.UI运行状态看板增加后台模式监控。4.Base64 兼容增强 5.优化外部 HID 设备。6.优化鼠标单击连点相关程序。
4.0 1.新增 A*寻路模板。2.连点模式增强，区分极速模式 / 自定义间隔 / 人手极速随机。3.ADB 模式点击优化，增加人手随机连点。4.跳转到序列号升级，从纯序号或标签跳转升级为“绑定步骤优先”：StepId > 标签 > 序号。5.修复配置变量执行其他配置再跳回后消失或重置问题。6.UIA 图形框选优化升级，识别更快捷。7.HID模式增强。
4.1 1.回档跳转序号可以跳转到本身。2.条件出路跳转到序号修复bug。3.获取鼠标坐标和等待图片输出到变量可以分别输出到变量 X 和变量Y。4.主界面右键增加从此序号开始运行。5.统一系统时间变量，可以使用{当前日期}{当前时间}{运行时间}等，具体可以看表达式操作。如表达式操作中代码为runtime() 选择一个结果文本变量，那么这个变量就会赋值当前的运行时间。6.优化ADB模式下图片识别。
4.2 图片识别等失败可以跳转自身，处理操作条件处理不能跳转自身。
5.0 1.RapidOCR 模型检查。2.搜索区域变量解析修复支持 {x,y},83,32、{x,y,w,h}、{x},{y},{w},{h} 3.颜色识别修改，更新单颜色识别界面，单颜色识别改为“一次扫描”，不再按超时反复等待。新增颜色识别和多颜色失败结果输出到布尔变量。4.增加右键按下、右键弹起、右键拖动等4.程序完整性校验
5.1 1.前台截图能力增强，加入 Desktop Duplication （DDA）高速前台截图 2.图片识别 / OCR / 颜色识别等前台截图统一 3.支持随机偏移功能，支持随机偏移解析。4. ADB 单击点击修复。
5.2 1.新增前台/ADB 坐标偏移校准。2.提醒模块增强从原来的 WAV 扩展到 WAV/MP3/WMA/M4A。3.截图/前台捕获链路调整，走统一的前台截图服务，根据前台模式设置中获取方式。并修复DDA模式下一些问题。4.表达式新增随机数，系统占位符增加 {当前循环} 5.修复后台模式中关于随机偏移UI不可见问题。
6.0 1.前台截图设置去掉 Auto，默认变成 GDI，DDA模式继续优化。2.变量中心重构，支持搜索、类型过滤、启用状态过滤、值预览、复制 {变量名} / ${变量名}。3.系统变量加入只读页，支持复制.4.新增 ${随机值} / ${随机值:min,max}。
新增录屏模块：录屏开始 / 暂停 / 继续 / 结束，走 DDA 截屏 + FFmpeg 编码，支持屏幕、主屏、指定显示器、指定区域、指定静态窗口。输出分辨率：原始、4K、2K、1080p、720p等
FPS选择 5,30,60等
MP4/MKV/AVI、H.264/H.265、鼠标指针、最大时长、最大大小。
表达式操作新增 var name = …; 临时变量7.优化表达式操作。8.设置里新增“确认截图保存路径”，图片识别等地方截图确认后可保存到指定目录，空路径仍走旧临时目录。9.更新相关dll
6.1 1.新增统一相对路径解析把截图、热键等配置路径统一按 exe所在目录解析。如设置截图保存在xxx.exe\screenshots文件夹。那么截图按确定按钮保存后，图片识别保存解析加载按 screenshots\xxx.png 这类相对路径。
图片识别新增“点击偏移点”，图片识别现在不只能点击匹配中心，还可以在模板图上选择一个具体偏移点。随机点击的“中心±偏移”也能以这个偏移点为中心。
运行时变量同步，UI 组件面板能够刷新显示后台任务的变量4.修复单步执行时变量中心，运行时值不一致问题5.OCR 识别输出结果输出到变量修复bug。6.颜色、文字等增加坐标输出7.设置页模式UI调整
6.2 1.浏览器管理增强.可设置编辑浏览器启动参数。 2.UI组件变量来源改成更明确的来源，全局/当前配置/指定配置文件 3.UI组件显示状态优化.新增鼠标穿透，鼠标点击可穿透到下面窗口，未勾选不可穿透，可以拖动
执行状态显示优化，循环时重置对应区间的操作状态 5.图标等相对路径改进。
6.3 1.修复UI组件变量后台同步。2.后台模式 DXGI 后台识别坐标修正。3.后台模式等待图片输出变量改用窗口坐标 4.后台模式新增窗口绑定策略
7.0 1.OCR 更新需要删除原来的mkldnn.dll libiomp5md.dll mklml.dll abseil_dll PaddleOCR.dll，这些dll已经更新放入了OCR_CPU文件夹。还需要 OcrWorker.exe OcrWorker.dll。更新了OCR模型库可以使用PP-OCRv6_medium 或者PP-OCRv6_small。蓝奏下载 PP-OCRv6_small.rar PP-OCRv6_medium_rec_infer.rar PP-OCRv6_medium_det_infer.rar 放入inference文件夹
可以在后台设置中设置是否绑定前一次句柄。
7.1 修复OCR一些问题。
7.2 1.修复OCR一些问题。2.多图识别中增加无操作和坐标输出。
8.0 1.OCR 新增GPU/TensorRT 运行模式，下面链接放入软件中。2.自动化模式设置UI重构。变量中心UI重构。3.手机模拟ADB模式增强，增加上一步点击坐标偏移单点/图片识别/颜色识别/OCR读取等。
前台模式下图像/文字/颜色相对鼠标位置框选调整。 5.新增条件处理高级表达式。
8.1 1.主界面所有模板操作换新图标2.新增收藏列，收藏列可以拖动或双击移入右侧菜单中。3.UI组件中布局来源可以选择跟随当前配置或全局配置。4.修复图片识别后台模式下UI问题。5.增加 Shift 复选后右键提取为流程模块。也可以直接加载模板放入主界面上部。6.屏幕录制增强
新增 GIF 输出；支持录制系统声音、麦克风
8.2 1.暂停时允许编辑流程,不能删除和调整原有的流程，可以添加插入到当前流程中。运行时不允许编辑流程
条件(开始)条件中新增高级表达式
UI 组件面板增强，能显示当前的进度如[主流程：defaultconfig] 第 5/28 步：图片识别。合并后台组件。后台: 0 最长: 00:00:00 只在后台worker显示。
快捷键悬浮面板增加，可以无配置快捷键显示面板。点击后再次点击为关闭，运行中有颜色提示。 5.新增系统变量 ${当前步骤序号}、${当前步骤名称}、${当前步骤总数}、${当前步骤进度} ，主界面运行时新增会显示类似“第 5/28 步图片识别”的进度。
主界面文字列可以收缩，只显示收藏列。
8.3 1.参考模板更新Excel读取单元格转网址.json。2.修复变量重命名和拖拽添加的bug。3.流程模块右键菜单新增“删除模块文件…” 4.配置悬浮面板和UI 组件面板支持自动收纳 5. ADB 设置页新增“中文输入支持” 需要下载https://github.com/senzhk/ADBKeyBoard ， ADBKeyboard.apk并安装。中文输入可以走 ADB Keyboard；普通ASCII 仍可走 adb input text。
8.4 1.图片点击偏移点增强,新增重新截图后选择实际目标点。
ADB 模式增加可以多后台运行。
优化变量候选 4.压缩/解压升级
9.0 1. 优化ui组件。2.后台绑定可自选匹配方式，增加诊断信息。
优化后台模式下图片识别。
优化程序。
9.1 优化程序
9.2 1.图像识别新增ORB、AKAZE等算法，原先默认为标准模板，ORB ，AKAZE 需要截图偏大一点，对于缩放旋转有很好的识别能力。 2.条件和内循环支持操作块折叠 3.定时任务关闭自动重试 4.参考模板UI优化。