Skip to content

AI 集成 ​

用自然语言驱动语言驱动平台的 RPA 能力,有两种方式:

方式适合谁说明
① 语言驱动Agent平台(开箱即用)想直接用的用户市场已集成三个官方 Agent——语言驱动GUI Agent / 语言驱动应用任务Agent / 语言驱动流程编辑Agent,System Prompt + 技能 + MCP 全部预配好,从市场安装即用。见 Agent 平台
② 第三方 Agent 平台自建已有 Claude Code / 扣子 / WorkBuddy 等平台的用户在三方平台添加语言驱动的 skills + MCP 即可使用同样的 RPA 能力——先完成第一节通用接入,再按第二~四节的场景章节对号入座

第三方平台接入 = 两步通用准备 + 按场景对号入座(任何支持 MCP 协议的 AI Agent 平台——Claude Code、Codex、Coze、WorkBuddy 等通用):

① 配置 MCP 工具(必做)→ ② 安装技能包(推荐)→ 按场景对号入座(第二~四节)
  • MCP(必做):平台内置的 MCP 服务,向 Agent 暴露任务工具(start_task、get_task_status 等)
  • 技能包Skills(推荐):给Agent的SOP文档,安装后一句话即可自动走完「查设备 → 查应用 → 拼参数 → 启停 → 汇总」全流程(宿主须支持 MCP)
  • 生成 Agent Prompt:客户端填好参数一键生成可粘贴的精确指令,适合参数多/长、反复运行的场景

非 Agent 场景(脚本/业务系统直调)?

本页面向有 AI Agent 在环的接入。定时任务、后端服务、客户自建系统等无 Agent 直调请用 Open API——普通 HTTP + API 密钥,接口与 MCP 工具一一对应。

三个使用场景 ​

RPA 能力按用途分为三个场景,对应三个官方 Agent——MCP 视图、技能包、人设模板均按此划分,先在下表找到你的场景,再进入对应章节:

场景(官方 Agent)什么时候用MCP 视图技能包详见
动态探索 / 逐步直控
(语言驱动 GUI Agent)
一次性任务、动态探索、需要边看边操作langdriver 运行视图langdriver-rpa-direct第二节
运行现成应用
(语言驱动应用任务 Agent)
固定、重复、可定时的任务langdriver 运行视图langdriver-app-task第三节
创建 / 编辑 / 发布流程
(语言驱动流程编辑 Agent)
把任务沉淀成可复用的应用langdriver-flow 编辑视图langdriver-rpa-flow-builder第四节

其中「运行现成应用」场景另有客户端的一键生成 Agent Prompt 辅助功能(参数多/含长文本/反复复跑时用,见第三节)。

不想手动拼?

语言驱动Agent平台市场已上架这三个官方 Agent——完整 System Prompt、配套技能与 MCP 全部预绑定(安装向导自动配好,还附带使用说明与官方更新一键同步),打开 agent.langdriver.com 从市场安装即用。只有在扣子 / WorkBuddy 等第三方平台自建 Agent 时,才需要按第二~四节手动拼装。

一、通用接入(三个场景共用) ​

MCP 与技能包的配置机制与场景无关,任何场景都先完成本节;装哪个视图、装哪个技能包由你的场景决定(见上方场景表)。

配置 MCP 工具 ​

工作原理 ​

外部 Agent (Claude Code / Codex / Coze / WorkBuddy 等)
    ↓ MCP 协议 (JSON-RPC over HTTP)
平台服务端 /api/mcp
    ↓ 控制通道 push 执行指令
语言驱动客户端 (需已登录在线)
    ↓ 自动执行任务
任务输出回传,Agent 拿到结果

MCP 提供两个视图,按需导入(不必都配):同进程同认证,只是工具集不同——跨视图调用会被服务端拒绝(有意的隔离设计,防止建流程的 Agent 误开浏览器)。

认证方式(二选一,推荐 API 密钥) ​

方式一:API 密钥(推荐) —— Authorization: Bearer ldk_你的密钥

长期有效、可命名用途、可随时吊销,无需暴露登录密码——个人 Agent 与第三方平台(Coze 等)统一建议用这种。

创建密钥:

  1. 打开客户端,点击右上角用户名 → API 密钥
  2. 输入名称(建议按用途命名,如 Coze)→ 点击 新建密钥
  3. 弹窗展示完整密钥(ldk_ 开头)→ 立即复制保存——关闭后无法再次查看

也可以用 REST API 创建(POST /api/users/api-keys,需 JWT 登录态)。

认证请使用 Authorization 头

X-API-Key: ldk_你的密钥 头在部分集成环境(网关/第三方平台转发)会被丢弃导致 401,请统一使用 Authorization: Bearer ldk_你的密钥(含 Bearer 前缀,整段粘贴)。

方式二:平台用户名密码(备选) —— X-Username + X-Password

无需单独申请,直接用平台登录凭据;密码修改后旧凭证会自动失效(最多 5 分钟延迟)。选这种方式时,把下方示例中的 headers 换成:

json
"headers": { "X-Username": "你的用户名", "X-Password": "你的密码" }

下方视图示例统一使用推荐的 API 密钥。

视图一:运行视图 langdriver(大多数人只需要这条) ​

跑现成应用、逐步操控设备(对应技能 langdriver-app-task / langdriver-rpa-direct,即动态探索与运行现成应用两个场景),11 个工具。

在目标 Agent 项目根目录创建 .mcp.json:

json
{
  "mcpServers": {
    "langdriver": {
      "type": "http",
      "url": "https://langdriver.com/api/mcp",
      "headers": {
        "Authorization": "Bearer ldk_你的密钥"
      }
    }
  }
}

视图二:编辑视图 langdriver-flow(要让 Agent 创建/编辑流程才配) ​

流程应用的创建/增量编辑/试跑/发布(对应技能 langdriver-rpa-flow-builder,即创建/编辑/发布流程场景),16 个工具:

json
{
  "mcpServers": {
    "langdriver-flow": {
      "type": "http",
      "url": "https://langdriver.com/api/mcp/flow",
      "headers": {
        "Authorization": "Bearer ldk_你的密钥"
      }
    }
  }
}

怎么选 ​

你的 Agent 要干什么导入
跑现成应用、逐步操控设备只配 langdriver
创建/编辑流程应用只配 langdriver-flow
又建流程又运行(如「建好流程直接试跑发布」)两条都配(名字不同不冲突)

两条都要时合并进一个 mcpServers 对象即可:

json
{
  "mcpServers": {
    "langdriver": { "type": "http", "url": "https://langdriver.com/api/mcp", "headers": { "Authorization": "Bearer ldk_你的密钥" } },
    "langdriver-flow": { "type": "http", "url": "https://langdriver.com/api/mcp/flow", "headers": { "Authorization": "Bearer ldk_你的密钥" } }
  }
}

配置完成后重启 Agent,在 MCP 面板中应能看到对应服务已连接(langdriver 列出 11 个工具 / langdriver-flow 列出 16 个)。

在 Coze(扣子)中接入 ​

  1. Coze 编程 → 资源库 → +资源 → 插件,类型选 MCP
  2. 插件 URL:https://你的域名/api/mcp(⚠️ Coze 要求 URL 必须为域名格式,暂不支持 IP;需先为服务端配置域名)
  3. 授权方式:选择 Service → Service token / API key:
    • 位置:Header
    • Parameter name:Authorization
    • Service token / API key:Bearer ldk_你的密钥(含 Bearer 前缀,整段粘贴)
  4. 确认创建 → Coze 自动同步全部 MCP 工具 → 试运行任意工具(如 list_apps)验证

吊销密钥 ​

在「API 密钥」管理弹窗中点击对应密钥的 吊销——使用该密钥的所有集成立即失效。密钥泄露或不再使用时请及时吊销。

WARNING

完整密钥仅在创建时展示一次。遗忘密钥无法找回,只能吊销后重新创建。

安装技能包 ​

Skills 是遵循 Agent Skills 开放标准的指令文件(均带 langdriver- 前缀便于识别)。安装后 Agent 用自然语言即可自动匹配对应技能执行。

对接方式三平台统一:Claude Code / 扣子(Coze)/ WorkBuddy 都是「上传 skills 包 + 配置 MCP」两步——同一个 zip 包在任一平台的技能/插件管理中上传安装即可(开放标准通用),配合本节的 MCP 配置使用。人设(System Prompt)按场景见第二~四节。

三个技能按职责分工(2026-09-21 由原 android/web/desktop 三个平台技能合并重构):

技能干什么依赖 MCP对应场景
langdriver-app-task运行已构建的流程应用(Android/Web/桌面/多平台统一入口)langdriver 运行视图运行现成应用(第三节)
langdriver-rpa-direct逐步实时直控(ai_step 视觉循环:截图→规划→自动执行;execute_step 直接执行)langdriver 运行视图动态探索/逐步直控(第二节)
langdriver-rpa-flow-builder创建/增量编辑/试跑/发布流程应用langdriver-flow 编辑视图创建/编辑/发布流程(第四节)

技能调用的是 MCP 工具(mcp__langdriver__* / mcp__langdriver-flow__*),所以必须先完成上方的 MCP 配置(宿主须支持 MCP;无 Agent 的脚本/业务系统直调场景用 Open API)。

从旧版本升级?

原 android-automation / web-automation / desktop-automation 三个技能已合并为 langdriver-app-task。已安装旧技能的用户请删除 ~/.claude/skills/ 下的旧目录后重新安装(npx skills update langdriver-skills)。

安装 ​

方式一:平台上传安装(扣子 / WorkBuddy / 支持技能管理的平台)

在平台的技能/插件管理入口上传对应 zip 包(见下方表格的下载链接),安装后即可自然语言触发——与 MCP 配置配合使用。

方式二:命令行安装(Claude Code)

bash
# 从 Gitee 安装(国内用户推荐)
npx skills add https://gitee.com/wenweihu86/langdriver-skills -a claude-code

# 从 GitHub 安装
npx skills add wenweihu86/langdriver-skills -a claude-code

# 使用 cn-skills(支持 Gitee 简写,国内更快)
npx cn-skills-installer add wenweihu86/langdriver-skills

方式三:手动下载(通用)

三个技能相互独立,按你的场景下载对应的 zip 包(zip 内是与技能同名的文件夹;Claude Code 解压到 ~/.claude/skills/,其他平台在上传入口直接传 zip):

技能包功能对应场景
langdriver-app-task.zip运行已构建的流程应用——启动任务、轮询状态、收集结构化输出;Android/Web/桌面/多平台统一入口,适合固定、重复、可定时的任务运行现成应用(第三节)
langdriver-rpa-direct.zip指令级实时直控——ai_step 视觉循环(平台视觉模型看截图规划下一步并自动执行,直到任务完成,Agent 无需视觉能力)+ 逐步执行 RPA 指令动态探索/逐步直控(第二节)
langdriver-rpa-flow-builder.zip创建/编辑流程应用——自然语言建流程、增量修改、试跑自验、发布上线(langdriver-flow 编辑视图)创建/编辑/发布流程(第四节)

macOS / Linux:

bash
unzip langdriver-app-task.zip -d ~/.claude/skills/

Windows(PowerShell):

powershell
Expand-Archive langdriver-app-task.zip -DestinationPath $env:USERPROFILE\.claude\skills\

装多个技能时对每个 zip 重复上述命令;解压后确认 ~/.claude/skills/ 下出现 langdriver-app-task/(以实际技能名命名的文件夹)即可。

更新 ​

bash
# 命令行安装的用户
npx skills update langdriver-skills

# 手动下载的用户
# 重新下载对应的技能 zip 包,覆盖 ~/.claude/skills/ 下同名文件夹即可

二、场景一:动态探索 / 逐步直控(语言驱动 GUI Agent) ​

本场景需要(均在第一节完成):MCP langdriver 运行视图 + 技能包 langdriver-rpa-direct + 下方人设模板。

适合动态探索、一次性任务、需要边看边操作:Agent 循环调用 ai_step——平台视觉模型看截图规划下一步并自动执行,直到任务完成(Agent 无需视觉能力);确定性步骤也可直接 execute_step 逐步执行。

人设模板(模板一) ​

text
你是语言驱动 GUI 自动化编排助手,通过 langdriver MCP 工具操控用户的浏览器、Android 设备与桌面软件。你是编排者,不是看屏者:

- 视觉决策(找元素/点哪里/输什么)由平台视觉模型完成,信任 ai_step 返回的 thought/action 文本反馈,不要要求把截图调进上下文(出错轮会自动附图)
- 遵循 langdriver-rpa-direct 技能的工作流:复合子任务用 execute_step 的 aiAct;长程任务用 ai_step 循环且 instruction 全程保持用户原话;确定性步骤(已知 URL/已知文本/文件类)直接 execute_step
- 复杂多步任务 ai_step 传 deepThink=true(响应带 subGoals 进度);重复性任务传 usePlanCache=true(重放学到的动作序列)
- ai_step 返回 done=true 时核对 thought 后向用户汇报;planInvalid/executeError 按技能文档处置,不轻易放弃
- 多轮采集的数据在对话中累积,收尾统一结构化输出(表格/JSON);需要保存到本地时用文件类指令(excelWrite 二维数组 / wordWrite / downloadFile·downloadDialog,无需传 target)
- 开始前确认 langdriver-pc 客户端在线;结束时报告执行了哪些步骤、采到什么数据、遇到什么问题
- 轮次预算:ai_step 循环一步占一轮——长任务优先 aiAct 打包子任务、重复任务 usePlanCache 重放、确定性步骤直接 execute_step
- 发布类内容(评论/回消息等)只用文字,不要添加 emoji 表情——目标站点的表情面板可能没有该表情,且 emoji 使用模式是机器行为特征(易被风控识别);表情表达交给用户自己决定

使用示例 ​

安装完成后,在 Agent 中直接用自然语言下达指令即可,缺的参数 Agent 会按技能流程自己查或反问:

  • "打开抖音网页版搜索 RPA,逐条看前 3 条视频的信息"
  • "帮我看看这个网页停在哪个页面、有没有弹窗"(ask_screen 让视觉模型替 Agent 看屏排查)

指令级工具(ai_step / execute_step / inspect_elements / ask_screen 等)说明见文末「可用工具」。

三、场景二:运行现成应用(语言驱动应用任务 Agent) ​

本场景需要(均在第一节完成):MCP langdriver 运行视图 + 技能包 langdriver-app-task + 下方人设模板。

适合固定、重复、可定时的任务:Android/Web/桌面/多平台统一入口,启动已构建的流程应用、轮询状态、收集结构化输出。

一键生成 Agent Prompt(本场景专属) ​

手动拼 MCP 调用参数较繁琐,平台提供一键生成功能(任何 Agent 平台通用):

  1. 在「我的应用」中打开应用详情页,顶部「应用 ID」可一键复制
  2. 进入「运行任务」标签页,填写运行参数、选择设备/账号
  3. 点击「生成 Agent Prompt」按钮,弹窗展示一段可直接使用的 Prompt
  4. 点击「复制」,粘贴到目标 Agent 的对话框即可

生成的 Prompt 已包含当前填写的参数和选中的设备/账号,Agent 会按 start_task → 轮询 get_task_status → 拉取 get_task_output 三步执行并把结果汇总返回;分发失败时 Agent 会立即收到明确原因(客户端/账号不在线、参数缺失等)。

装了技能包还要用生成的 Prompt 吗?

不必须。参数少/短时直接自然语言即可;参数多、含长文本、或需要反复精确复跑同一应用时,用生成的 Prompt 更稳——表单参数原样序列化,不会被转述改写。

人设模板(模板二) ​

text
你是语言驱动应用任务运行助手,通过 langdriver MCP 运行用户已构建的自动化应用(浏览器/Android/桌面/多平台)。工作方式:

- 启动前先 list_online_devices 确认目标就绪(android 查设备、web 查账号、desktop 查客户端),再 list_apps 读应用的 param_schema
- 账号/设备名必须与 list_online_devices 返回一字不差,不要凭记忆猜
- start_task 返回 dispatched=false 说明目标不在线:提醒用户打开 langdriver-pc,不要轮询
- 任务异步执行:轮询 get_task_status(约每 15 秒)直到终态,再用 get_task_output 分页拉输出
- 汇报结果:按 entity_type 分组总结关键输出、统计数据和错误;失败时给原因与建议
- 运行时参数(搜索词/数量等)照用户原话填具体值;不确定的参数回到 param_schema 核对
- 开始前确认 langdriver-pc 客户端在线;用户要求中止时用 stop_task

使用示例 ​

  • "用语言驱动在 Android 手机上给这个抖音视频写评论:https://v.douyin.com/xxx"
  • "用我的手机和浏览器一起跑一遍客户跟进流程"(多平台应用)

四、场景三:创建 / 编辑 / 发布流程应用(语言驱动流程编辑 Agent) ​

本场景需要(均在第一节完成):MCP langdriver-flow 编辑视图 + 技能包 langdriver-rpa-flow-builder + 下方人设模板。

适合把任务沉淀成可复用的应用:自然语言建流程、增量修改、试跑自验、发布上线。

人设模板(模板三) ​

text
你是语言驱动流程应用编辑助手,通过 langdriver-flow MCP 创建/编辑/试跑/发布自动化流程应用。工作方式:

- 组装步骤前先 get_step_schema 查指令参数,不要猜;不确定的参数以 schema 为准
- 用户运行时才填的值用 update_variables 声明为 isInput 变量(勿为声明变量 update_flow 整树重写),步骤参数用「变量插值」引用(双大括号包裹变量名,语法见 langdriver-rpa-flow-builder 技能文档),并同步进 param_schema——不要硬编码;自定义函数用 update_functions 增量维护
- 校验失败必须逐条修复重试,不要放弃或绕过;工具结果提示「⚠️ 变量被引用但未声明」时用 update_variables 补声明
- 编辑存量应用先 read_flow 看骨架、read_steps 看细节,再 update_steps 五操作增量改;大流程禁止 update_flow 整树重写
- 子流程:改子流程内部步骤/变量/函数传 subflowId(read_flow 的 subflows 目录可见各自骨架与行号,与主流程变量/函数全隔离);创建/改名/删除子流程用 update_subflows;复用一段逻辑=抽成子流程 + callSubflow 调用(args 键必须是目标 isInput 变量,isOutput 变量为返回值)
- 向用户表述步骤一律用 L 行号(骨架 line / read_steps 的 lines / update_steps 结果的 L 号)+ 步骤类型,不要输出原始步骤 id——id 只出现在工具调用参数里
- test_flow 真实试跑验证:失败看 trace 与变量快照定位原因(元素描述不准/缺等待/参数错),修正后重试;试跑截图可直接看屏核对
- publish_app/delete_flow_app 是破坏性操作:先向用户说明将发生什么,确认后再调用;用户拒绝时问清顾虑,可 discard_draft 回退
- AI 步骤间穿插 randomSleep(2000-5000ms)拟人等待

使用示例 ​

  • "创建一个打开小红书、搜索关键词、采集前 3 条笔记标题的流程,试跑通过后发布"
  • "给「客户跟进」应用加一步执行完后发邮件通知"(增量编辑存量应用)

以上三个模板可以改吗?

可以。模板是官方调优的基线——改动时建议保留「编排者定位」(模板一)与「先查 schema 再组装」(模板三)这类防幻觉约束,其余按你的业务场景增删。

可用工具 ​

运行视图(/api/mcp)——跑现成应用、逐步操控设备,11 个工具:

工具说明
list_online_devices列出在线设备(Android / Web / Desktop)
list_apps列出可用应用及其参数定义(含 param_schema)
start_task创建并启动任务,返回 task_instance_id
get_task_status轮询任务状态
get_task_output拉取任务输出数据
stop_task停止运行中的任务
inspect_elements截取设备屏幕并提取可交互元素列表
ask_screen视觉模型替主模型看屏问答:对当前屏幕提语义问题(有无弹窗/停在哪个页面/元素是否可见),返回纯文字答案——主模型无需视觉能力,适合异常排查
list_step_types指令级:可执行 RPA 指令清单(动作空间,含参数定义)
execute_step指令级:执行单条 RPA 指令(浏览器/Android/桌面/文件),同目标自动复用会话
plan_next_step指令级:基于当前屏幕截图的视觉规划,返回下一步建议指令
ai_step指令级:视觉模型驱动的单步执行——截图→AI 规划→自动执行;循环调用直到任务完成,Agent 无需视觉能力

编辑视图(/api/mcp/flow,2026-09-21)——流程应用的创建/编辑/试跑,16 个工具:

工具说明
list_flow_apps / get_flow列出自己的应用 / 读流程定义(草稿优先)
create_flow_app / update_flow创建(校验通过才落库)/ 整树替换流程
read_flow / read_steps / update_steps增量编辑:骨架目录(含 subflows 子流程目录,各自行号独立 1..N)/ 按 id 读细节 / 五操作原子修改——改子流程内部传 subflow_id
update_variables / update_functions增量增删改变量 / 自定义函数(按 name 定位,可传 subflow_id 作用于子流程域——与主流程全隔离)——新增引用 {{变量}} 的步骤时用 update_variables 同步声明,勿为声明变量整树重写
update_subflows创建/改名/删除子流程——复用一段逻辑=抽成子流程 + callSubflow 步骤调用(args 键必须是目标 isInput 变量)
get_step_schema / validate_flow全量指令定义(78 种,含容器)/ 独立校验
test_flow试跑(真实执行):返回步骤记录/轨迹/变量快照,Agent 自验闭环
publish_app / discard_draft / delete_flow_app发布(草稿提升线上)/ 丢弃草稿 / 删除应用

运行前提 ​

  • 客户端需已登录并在线:MCP 启动任务后,服务端通过控制通道把执行指令推送给在线客户端执行。客户端不在线则任务无法运行
  • 设备/账号就绪:Android 任务需设备已连接;网页任务需已添加登录账号
  • Token 余额充足:任务执行消耗 Token,余额不足会自动停止

macOS 上任务运行时浏览器窗口会被短暂切换到前台?

网页任务的 AI 操作(找元素/看屏)需要实时截图;macOS 对被完全遮挡的窗口会停止画面输出(系统行为),此时客户端会把浏览器窗口短暂置前以完成截图。任务期间请尽量不要完全遮挡浏览器窗口;如需完全后台运行,可用 BetterDisplay 等工具创建虚拟显示器并把浏览器窗口放入虚拟屏——虚拟屏始终处于「可见」状态,不触发遮挡,任务可无打扰后台运行。

支持的 Agent ​

任何支持 MCP 协议、可通过 HTTP 连接 MCP 服务的 AI Agent 均可接入:

  • Claude Code(Anthropic 官方 CLI)
  • Codex
  • Coze(扣子)
  • WorkBuddy
  • 其他兼容 MCP 的 Agent 平台

常见问题 ​

Agent 中 MCP 服务连接失败

  • 确认 .mcp.json 里的服务器地址正确且服务端可达
  • 用 API Key 时确认密钥未被吊销且复制时含 Bearer 前缀;用用户名密码时确认与平台登录凭据一致
  • 服务端需已启用 MCP 端点(/api/mcp),联系管理员确认

Coze 连接失败

  • Coze 要求插件 URL 必须为域名格式(不支持 IP)——为服务端配置域名后重试
  • 确认授权方式选的是 Service token / API key(Header),参数名 Authorization、值 Bearer ldk_xxx

MCP 启动任务后报「分发失败」/「设备不在线」/「账号不存在」

  • 任务是通过控制通道推送给客户端执行的——确认语言驱动客户端已启动并登录在线
  • 网页任务按 站点:账号 精确路由:targetAppAccount 必须与客户端账号管理中的账号名一字不差(可先调用 list_online_devices 查看在线账号清单)
  • 网页任务 params 必须包含 targetAppAccount(浏览器账号名)

MCP 启动任务后一直显示「运行中」但不执行

  • 确认语言驱动客户端已启动并登录(MCP 通过控制通道把任务推送给客户端执行,客户端不在线则任务无法运行)
  • 确认目标设备已连接(Android)或浏览器账号已登录(Web)

返回结果字段说明

  • start_task 返回 task_instance_id 和 dispatched,记录 ID 用于后续轮询;dispatched: false 说明任务未真正下发(客户端/账号不在线)
  • get_task_status 返回 status 字段:pending / running / stopping / completed / failed / stopped
  • get_task_output 返回分页输出列表,每条包含 entity_type(实体类型)和 data(JSON 数据)