AI 集成
用自然语言驱动语言驱动平台的 RPA 能力,有两种方式:
| 方式 | 适合谁 | 说明 |
|---|---|---|
| ① 语言驱动Agent平台(开箱即用) | 想直接用的用户 | 市场已集成三个官方 Agent——语言驱动GUI Agent / 语言驱动应用任务Agent / 语言驱动流程编辑Agent,System Prompt + 技能 + MCP 全部预配好,从市场安装即用。见 Agent 平台 |
| ② 第三方 Agent 平台自建 | 已有 Claude Code / 扣子 / WorkBuddy 等平台的用户 | 在三方平台添加语言驱动的 skills + MCP 即可使用同样的 RPA 能力——先完成第一节通用接入,再按第二~四节的场景章节对号入座 |
第三方平台接入 = 两步通用准备 + 按场景对号入座(任何支持 MCP 协议的 AI Agent 平台——Claude Code、Codex、Coze、WorkBuddy 等通用):
① 配置 MCP 工具(必做)→ ② 安装技能包(推荐)→ 按场景对号入座(第二~四节)- MCP(必做):平台内置的 MCP 服务,向 Agent 暴露任务工具(
start_task、get_task_status等) - 技能包Skills(推荐):给Agent的SOP文档,安装后一句话即可自动走完「查设备 → 查应用 → 拼参数 → 启停 → 汇总」全流程(宿主须支持 MCP)
- 生成 Agent Prompt:客户端填好参数一键生成可粘贴的精确指令,适合参数多/长、反复运行的场景
非 Agent 场景(脚本/业务系统直调)?
本页面向有 AI Agent 在环的接入。定时任务、后端服务、客户自建系统等无 Agent 直调请用 Open API——普通 HTTP + API 密钥,接口与 MCP 工具一一对应。
三个使用场景
RPA 能力按用途分为三个场景,对应三个官方 Agent——MCP 视图、技能包、人设模板均按此划分,先在下表找到你的场景,再进入对应章节:
| 场景(官方 Agent) | 什么时候用 | MCP 视图 | 技能包 | 详见 |
|---|---|---|---|---|
| 动态探索 / 逐步直控 (语言驱动 GUI Agent) | 一次性任务、动态探索、需要边看边操作 | langdriver 运行视图 | langdriver-rpa-direct | 第二节 |
| 运行现成应用 (语言驱动应用任务 Agent) | 固定、重复、可定时的任务 | langdriver 运行视图 | langdriver-app-task | 第三节 |
| 创建 / 编辑 / 发布流程 (语言驱动流程编辑 Agent) | 把任务沉淀成可复用的应用 | langdriver-flow 编辑视图 | langdriver-rpa-flow-builder | 第四节 |
其中「运行现成应用」场景另有客户端的一键生成 Agent Prompt 辅助功能(参数多/含长文本/反复复跑时用,见第三节)。
不想手动拼?
语言驱动Agent平台市场已上架这三个官方 Agent——完整 System Prompt、配套技能与 MCP 全部预绑定(安装向导自动配好,还附带使用说明与官方更新一键同步),打开 agent.langdriver.com 从市场安装即用。只有在扣子 / WorkBuddy 等第三方平台自建 Agent 时,才需要按第二~四节手动拼装。
一、通用接入(三个场景共用)
MCP 与技能包的配置机制与场景无关,任何场景都先完成本节;装哪个视图、装哪个技能包由你的场景决定(见上方场景表)。
配置 MCP 工具
工作原理
外部 Agent (Claude Code / Codex / Coze / WorkBuddy 等)
↓ MCP 协议 (JSON-RPC over HTTP)
平台服务端 /api/mcp
↓ 控制通道 push 执行指令
语言驱动客户端 (需已登录在线)
↓ 自动执行任务
任务输出回传,Agent 拿到结果MCP 提供两个视图,按需导入(不必都配):同进程同认证,只是工具集不同——跨视图调用会被服务端拒绝(有意的隔离设计,防止建流程的 Agent 误开浏览器)。
认证方式(二选一,推荐 API 密钥)
方式一:API 密钥(推荐) —— Authorization: Bearer ldk_你的密钥
长期有效、可命名用途、可随时吊销,无需暴露登录密码——个人 Agent 与第三方平台(Coze 等)统一建议用这种。
创建密钥:
- 打开客户端,点击右上角用户名 → API 密钥
- 输入名称(建议按用途命名,如
Coze)→ 点击 新建密钥 - 弹窗展示完整密钥(
ldk_开头)→ 立即复制保存——关闭后无法再次查看
也可以用 REST API 创建(POST /api/users/api-keys,需 JWT 登录态)。
认证请使用 Authorization 头
X-API-Key: ldk_你的密钥 头在部分集成环境(网关/第三方平台转发)会被丢弃导致 401,请统一使用 Authorization: Bearer ldk_你的密钥(含 Bearer 前缀,整段粘贴)。
方式二:平台用户名密码(备选) —— X-Username + X-Password
无需单独申请,直接用平台登录凭据;密码修改后旧凭证会自动失效(最多 5 分钟延迟)。选这种方式时,把下方示例中的 headers 换成:
json
"headers": { "X-Username": "你的用户名", "X-Password": "你的密码" }下方视图示例统一使用推荐的 API 密钥。
视图一:运行视图 langdriver(大多数人只需要这条)
跑现成应用、逐步操控设备(对应技能 langdriver-app-task / langdriver-rpa-direct,即动态探索与运行现成应用两个场景),11 个工具。
在目标 Agent 项目根目录创建 .mcp.json:
json
{
"mcpServers": {
"langdriver": {
"type": "http",
"url": "https://langdriver.com/api/mcp",
"headers": {
"Authorization": "Bearer ldk_你的密钥"
}
}
}
}视图二:编辑视图 langdriver-flow(要让 Agent 创建/编辑流程才配)
流程应用的创建/增量编辑/试跑/发布(对应技能 langdriver-rpa-flow-builder,即创建/编辑/发布流程场景),16 个工具:
json
{
"mcpServers": {
"langdriver-flow": {
"type": "http",
"url": "https://langdriver.com/api/mcp/flow",
"headers": {
"Authorization": "Bearer ldk_你的密钥"
}
}
}
}怎么选
| 你的 Agent 要干什么 | 导入 |
|---|---|
| 跑现成应用、逐步操控设备 | 只配 langdriver |
| 创建/编辑流程应用 | 只配 langdriver-flow |
| 又建流程又运行(如「建好流程直接试跑发布」) | 两条都配(名字不同不冲突) |
两条都要时合并进一个 mcpServers 对象即可:
json
{
"mcpServers": {
"langdriver": { "type": "http", "url": "https://langdriver.com/api/mcp", "headers": { "Authorization": "Bearer ldk_你的密钥" } },
"langdriver-flow": { "type": "http", "url": "https://langdriver.com/api/mcp/flow", "headers": { "Authorization": "Bearer ldk_你的密钥" } }
}
}配置完成后重启 Agent,在 MCP 面板中应能看到对应服务已连接(langdriver 列出 11 个工具 / langdriver-flow 列出 16 个)。
在 Coze(扣子)中接入
- Coze 编程 → 资源库 → +资源 → 插件,类型选 MCP
- 插件 URL:
https://你的域名/api/mcp(⚠️ Coze 要求 URL 必须为域名格式,暂不支持 IP;需先为服务端配置域名) - 授权方式:选择 Service → Service token / API key:
- 位置:
Header - Parameter name:
Authorization - Service token / API key:
Bearer ldk_你的密钥(含Bearer前缀,整段粘贴)
- 位置:
- 确认创建 → Coze 自动同步全部 MCP 工具 → 试运行任意工具(如
list_apps)验证
吊销密钥
在「API 密钥」管理弹窗中点击对应密钥的 吊销——使用该密钥的所有集成立即失效。密钥泄露或不再使用时请及时吊销。
WARNING
完整密钥仅在创建时展示一次。遗忘密钥无法找回,只能吊销后重新创建。
安装技能包
Skills 是遵循 Agent Skills 开放标准的指令文件(均带 langdriver- 前缀便于识别)。安装后 Agent 用自然语言即可自动匹配对应技能执行。
对接方式三平台统一:Claude Code / 扣子(Coze)/ WorkBuddy 都是「上传 skills 包 + 配置 MCP」两步——同一个 zip 包在任一平台的技能/插件管理中上传安装即可(开放标准通用),配合本节的 MCP 配置使用。人设(System Prompt)按场景见第二~四节。
三个技能按职责分工(2026-09-21 由原 android/web/desktop 三个平台技能合并重构):
| 技能 | 干什么 | 依赖 MCP | 对应场景 |
|---|---|---|---|
langdriver-app-task | 运行已构建的流程应用(Android/Web/桌面/多平台统一入口) | langdriver 运行视图 | 运行现成应用(第三节) |
langdriver-rpa-direct | 逐步实时直控(ai_step 视觉循环:截图→规划→自动执行;execute_step 直接执行) | langdriver 运行视图 | 动态探索/逐步直控(第二节) |
langdriver-rpa-flow-builder | 创建/增量编辑/试跑/发布流程应用 | langdriver-flow 编辑视图 | 创建/编辑/发布流程(第四节) |
技能调用的是 MCP 工具(mcp__langdriver__* / mcp__langdriver-flow__*),所以必须先完成上方的 MCP 配置(宿主须支持 MCP;无 Agent 的脚本/业务系统直调场景用 Open API)。
从旧版本升级?
原 android-automation / web-automation / desktop-automation 三个技能已合并为 langdriver-app-task。已安装旧技能的用户请删除 ~/.claude/skills/ 下的旧目录后重新安装(npx skills update langdriver-skills)。
安装
方式一:平台上传安装(扣子 / WorkBuddy / 支持技能管理的平台)
在平台的技能/插件管理入口上传对应 zip 包(见下方表格的下载链接),安装后即可自然语言触发——与 MCP 配置配合使用。
方式二:命令行安装(Claude Code)
bash
# 从 Gitee 安装(国内用户推荐)
npx skills add https://gitee.com/wenweihu86/langdriver-skills -a claude-code
# 从 GitHub 安装
npx skills add wenweihu86/langdriver-skills -a claude-code
# 使用 cn-skills(支持 Gitee 简写,国内更快)
npx cn-skills-installer add wenweihu86/langdriver-skills方式三:手动下载(通用)
三个技能相互独立,按你的场景下载对应的 zip 包(zip 内是与技能同名的文件夹;Claude Code 解压到 ~/.claude/skills/,其他平台在上传入口直接传 zip):
| 技能包 | 功能 | 对应场景 |
|---|---|---|
| langdriver-app-task.zip | 运行已构建的流程应用——启动任务、轮询状态、收集结构化输出;Android/Web/桌面/多平台统一入口,适合固定、重复、可定时的任务 | 运行现成应用(第三节) |
| langdriver-rpa-direct.zip | 指令级实时直控——ai_step 视觉循环(平台视觉模型看截图规划下一步并自动执行,直到任务完成,Agent 无需视觉能力)+ 逐步执行 RPA 指令 | 动态探索/逐步直控(第二节) |
| langdriver-rpa-flow-builder.zip | 创建/编辑流程应用——自然语言建流程、增量修改、试跑自验、发布上线(langdriver-flow 编辑视图) | 创建/编辑/发布流程(第四节) |
macOS / Linux:
bash
unzip langdriver-app-task.zip -d ~/.claude/skills/Windows(PowerShell):
powershell
Expand-Archive langdriver-app-task.zip -DestinationPath $env:USERPROFILE\.claude\skills\装多个技能时对每个 zip 重复上述命令;解压后确认 ~/.claude/skills/ 下出现 langdriver-app-task/(以实际技能名命名的文件夹)即可。
更新
bash
# 命令行安装的用户
npx skills update langdriver-skills
# 手动下载的用户
# 重新下载对应的技能 zip 包,覆盖 ~/.claude/skills/ 下同名文件夹即可二、场景一:动态探索 / 逐步直控(语言驱动 GUI Agent)
本场景需要(均在第一节完成):MCP langdriver 运行视图 + 技能包 langdriver-rpa-direct + 下方人设模板。
适合动态探索、一次性任务、需要边看边操作:Agent 循环调用 ai_step——平台视觉模型看截图规划下一步并自动执行,直到任务完成(Agent 无需视觉能力);确定性步骤也可直接 execute_step 逐步执行。
人设模板(模板一)
text
你是语言驱动 GUI 自动化编排助手,通过 langdriver MCP 工具操控用户的浏览器、Android 设备与桌面软件。你是编排者,不是看屏者:
- 视觉决策(找元素/点哪里/输什么)由平台视觉模型完成,信任 ai_step 返回的 thought/action 文本反馈,不要要求把截图调进上下文(出错轮会自动附图)
- 遵循 langdriver-rpa-direct 技能的工作流:复合子任务用 execute_step 的 aiAct;长程任务用 ai_step 循环且 instruction 全程保持用户原话;确定性步骤(已知 URL/已知文本/文件类)直接 execute_step
- 复杂多步任务 ai_step 传 deepThink=true(响应带 subGoals 进度);重复性任务传 usePlanCache=true(重放学到的动作序列)
- ai_step 返回 done=true 时核对 thought 后向用户汇报;planInvalid/executeError 按技能文档处置,不轻易放弃
- 多轮采集的数据在对话中累积,收尾统一结构化输出(表格/JSON);需要保存到本地时用文件类指令(excelWrite 二维数组 / wordWrite / downloadFile·downloadDialog,无需传 target)
- 开始前确认 langdriver-pc 客户端在线;结束时报告执行了哪些步骤、采到什么数据、遇到什么问题
- 轮次预算:ai_step 循环一步占一轮——长任务优先 aiAct 打包子任务、重复任务 usePlanCache 重放、确定性步骤直接 execute_step
- 发布类内容(评论/回消息等)只用文字,不要添加 emoji 表情——目标站点的表情面板可能没有该表情,且 emoji 使用模式是机器行为特征(易被风控识别);表情表达交给用户自己决定使用示例
安装完成后,在 Agent 中直接用自然语言下达指令即可,缺的参数 Agent 会按技能流程自己查或反问:
- "打开抖音网页版搜索 RPA,逐条看前 3 条视频的信息"
- "帮我看看这个网页停在哪个页面、有没有弹窗"(
ask_screen让视觉模型替 Agent 看屏排查)
指令级工具(ai_step / execute_step / inspect_elements / ask_screen 等)说明见文末「可用工具」。
三、场景二:运行现成应用(语言驱动应用任务 Agent)
本场景需要(均在第一节完成):MCP langdriver 运行视图 + 技能包 langdriver-app-task + 下方人设模板。
适合固定、重复、可定时的任务:Android/Web/桌面/多平台统一入口,启动已构建的流程应用、轮询状态、收集结构化输出。
一键生成 Agent Prompt(本场景专属)
手动拼 MCP 调用参数较繁琐,平台提供一键生成功能(任何 Agent 平台通用):
- 在「我的应用」中打开应用详情页,顶部「应用 ID」可一键复制
- 进入「运行任务」标签页,填写运行参数、选择设备/账号
- 点击「生成 Agent Prompt」按钮,弹窗展示一段可直接使用的 Prompt
- 点击「复制」,粘贴到目标 Agent 的对话框即可
生成的 Prompt 已包含当前填写的参数和选中的设备/账号,Agent 会按 start_task → 轮询 get_task_status → 拉取 get_task_output 三步执行并把结果汇总返回;分发失败时 Agent 会立即收到明确原因(客户端/账号不在线、参数缺失等)。
装了技能包还要用生成的 Prompt 吗?
不必须。参数少/短时直接自然语言即可;参数多、含长文本、或需要反复精确复跑同一应用时,用生成的 Prompt 更稳——表单参数原样序列化,不会被转述改写。
人设模板(模板二)
text
你是语言驱动应用任务运行助手,通过 langdriver MCP 运行用户已构建的自动化应用(浏览器/Android/桌面/多平台)。工作方式:
- 启动前先 list_online_devices 确认目标就绪(android 查设备、web 查账号、desktop 查客户端),再 list_apps 读应用的 param_schema
- 账号/设备名必须与 list_online_devices 返回一字不差,不要凭记忆猜
- start_task 返回 dispatched=false 说明目标不在线:提醒用户打开 langdriver-pc,不要轮询
- 任务异步执行:轮询 get_task_status(约每 15 秒)直到终态,再用 get_task_output 分页拉输出
- 汇报结果:按 entity_type 分组总结关键输出、统计数据和错误;失败时给原因与建议
- 运行时参数(搜索词/数量等)照用户原话填具体值;不确定的参数回到 param_schema 核对
- 开始前确认 langdriver-pc 客户端在线;用户要求中止时用 stop_task使用示例
- "用语言驱动在 Android 手机上给这个抖音视频写评论:https://v.douyin.com/xxx"
- "用我的手机和浏览器一起跑一遍客户跟进流程"(多平台应用)
四、场景三:创建 / 编辑 / 发布流程应用(语言驱动流程编辑 Agent)
本场景需要(均在第一节完成):MCP langdriver-flow 编辑视图 + 技能包 langdriver-rpa-flow-builder + 下方人设模板。
适合把任务沉淀成可复用的应用:自然语言建流程、增量修改、试跑自验、发布上线。
人设模板(模板三)
text
你是语言驱动流程应用编辑助手,通过 langdriver-flow MCP 创建/编辑/试跑/发布自动化流程应用。工作方式:
- 组装步骤前先 get_step_schema 查指令参数,不要猜;不确定的参数以 schema 为准
- 用户运行时才填的值用 update_variables 声明为 isInput 变量(勿为声明变量 update_flow 整树重写),步骤参数用「变量插值」引用(双大括号包裹变量名,语法见 langdriver-rpa-flow-builder 技能文档),并同步进 param_schema——不要硬编码;自定义函数用 update_functions 增量维护
- 校验失败必须逐条修复重试,不要放弃或绕过;工具结果提示「⚠️ 变量被引用但未声明」时用 update_variables 补声明
- 编辑存量应用先 read_flow 看骨架、read_steps 看细节,再 update_steps 五操作增量改;大流程禁止 update_flow 整树重写
- 子流程:改子流程内部步骤/变量/函数传 subflowId(read_flow 的 subflows 目录可见各自骨架与行号,与主流程变量/函数全隔离);创建/改名/删除子流程用 update_subflows;复用一段逻辑=抽成子流程 + callSubflow 调用(args 键必须是目标 isInput 变量,isOutput 变量为返回值)
- 向用户表述步骤一律用 L 行号(骨架 line / read_steps 的 lines / update_steps 结果的 L 号)+ 步骤类型,不要输出原始步骤 id——id 只出现在工具调用参数里
- test_flow 真实试跑验证:失败看 trace 与变量快照定位原因(元素描述不准/缺等待/参数错),修正后重试;试跑截图可直接看屏核对
- publish_app/delete_flow_app 是破坏性操作:先向用户说明将发生什么,确认后再调用;用户拒绝时问清顾虑,可 discard_draft 回退
- AI 步骤间穿插 randomSleep(2000-5000ms)拟人等待使用示例
- "创建一个打开小红书、搜索关键词、采集前 3 条笔记标题的流程,试跑通过后发布"
- "给「客户跟进」应用加一步执行完后发邮件通知"(增量编辑存量应用)
以上三个模板可以改吗?
可以。模板是官方调优的基线——改动时建议保留「编排者定位」(模板一)与「先查 schema 再组装」(模板三)这类防幻觉约束,其余按你的业务场景增删。
可用工具
运行视图(/api/mcp)——跑现成应用、逐步操控设备,11 个工具:
| 工具 | 说明 |
|---|---|
list_online_devices | 列出在线设备(Android / Web / Desktop) |
list_apps | 列出可用应用及其参数定义(含 param_schema) |
start_task | 创建并启动任务,返回 task_instance_id |
get_task_status | 轮询任务状态 |
get_task_output | 拉取任务输出数据 |
stop_task | 停止运行中的任务 |
inspect_elements | 截取设备屏幕并提取可交互元素列表 |
ask_screen | 视觉模型替主模型看屏问答:对当前屏幕提语义问题(有无弹窗/停在哪个页面/元素是否可见),返回纯文字答案——主模型无需视觉能力,适合异常排查 |
list_step_types | 指令级:可执行 RPA 指令清单(动作空间,含参数定义) |
execute_step | 指令级:执行单条 RPA 指令(浏览器/Android/桌面/文件),同目标自动复用会话 |
plan_next_step | 指令级:基于当前屏幕截图的视觉规划,返回下一步建议指令 |
ai_step | 指令级:视觉模型驱动的单步执行——截图→AI 规划→自动执行;循环调用直到任务完成,Agent 无需视觉能力 |
编辑视图(/api/mcp/flow,2026-09-21)——流程应用的创建/编辑/试跑,16 个工具:
| 工具 | 说明 |
|---|---|
list_flow_apps / get_flow | 列出自己的应用 / 读流程定义(草稿优先) |
create_flow_app / update_flow | 创建(校验通过才落库)/ 整树替换流程 |
read_flow / read_steps / update_steps | 增量编辑:骨架目录(含 subflows 子流程目录,各自行号独立 1..N)/ 按 id 读细节 / 五操作原子修改——改子流程内部传 subflow_id |
update_variables / update_functions | 增量增删改变量 / 自定义函数(按 name 定位,可传 subflow_id 作用于子流程域——与主流程全隔离)——新增引用 {{变量}} 的步骤时用 update_variables 同步声明,勿为声明变量整树重写 |
update_subflows | 创建/改名/删除子流程——复用一段逻辑=抽成子流程 + callSubflow 步骤调用(args 键必须是目标 isInput 变量) |
get_step_schema / validate_flow | 全量指令定义(78 种,含容器)/ 独立校验 |
test_flow | 试跑(真实执行):返回步骤记录/轨迹/变量快照,Agent 自验闭环 |
publish_app / discard_draft / delete_flow_app | 发布(草稿提升线上)/ 丢弃草稿 / 删除应用 |
运行前提
- 客户端需已登录并在线:MCP 启动任务后,服务端通过控制通道把执行指令推送给在线客户端执行。客户端不在线则任务无法运行
- 设备/账号就绪:Android 任务需设备已连接;网页任务需已添加登录账号
- Token 余额充足:任务执行消耗 Token,余额不足会自动停止
macOS 上任务运行时浏览器窗口会被短暂切换到前台?
网页任务的 AI 操作(找元素/看屏)需要实时截图;macOS 对被完全遮挡的窗口会停止画面输出(系统行为),此时客户端会把浏览器窗口短暂置前以完成截图。任务期间请尽量不要完全遮挡浏览器窗口;如需完全后台运行,可用 BetterDisplay 等工具创建虚拟显示器并把浏览器窗口放入虚拟屏——虚拟屏始终处于「可见」状态,不触发遮挡,任务可无打扰后台运行。
支持的 Agent
任何支持 MCP 协议、可通过 HTTP 连接 MCP 服务的 AI Agent 均可接入:
- Claude Code(Anthropic 官方 CLI)
- Codex
- Coze(扣子)
- WorkBuddy
- 其他兼容 MCP 的 Agent 平台
常见问题
Agent 中 MCP 服务连接失败
- 确认
.mcp.json里的服务器地址正确且服务端可达 - 用 API Key 时确认密钥未被吊销且复制时含
Bearer前缀;用用户名密码时确认与平台登录凭据一致 - 服务端需已启用 MCP 端点(
/api/mcp),联系管理员确认
Coze 连接失败
- Coze 要求插件 URL 必须为域名格式(不支持 IP)——为服务端配置域名后重试
- 确认授权方式选的是 Service token / API key(Header),参数名
Authorization、值Bearer ldk_xxx
MCP 启动任务后报「分发失败」/「设备不在线」/「账号不存在」
- 任务是通过控制通道推送给客户端执行的——确认语言驱动客户端已启动并登录在线
- 网页任务按
站点:账号精确路由:targetAppAccount必须与客户端账号管理中的账号名一字不差(可先调用list_online_devices查看在线账号清单) - 网页任务
params必须包含targetAppAccount(浏览器账号名)
MCP 启动任务后一直显示「运行中」但不执行
- 确认语言驱动客户端已启动并登录(MCP 通过控制通道把任务推送给客户端执行,客户端不在线则任务无法运行)
- 确认目标设备已连接(Android)或浏览器账号已登录(Web)
返回结果字段说明
start_task返回task_instance_id和dispatched,记录 ID 用于后续轮询;dispatched: false说明任务未真正下发(客户端/账号不在线)get_task_status返回status字段:pending/running/stopping/completed/failed/stoppedget_task_output返回分页输出列表,每条包含entity_type(实体类型)和data(JSON 数据)
