测试AiPy和WorkBuddy时应该使用哪些验收指标？
测试AiPy和WorkBuddy的验收指标应围绕1、任务执行完整性；2、输出质量与准确性；3、系统集成能力；4、数据安全与边界；5、部署配置灵活性展开。企业需根据具体业务场景设置差异化验收标准，其中任务执行完整性是最核心的评估维度，包括输入样本的覆盖率、提示词的适配性、输出结果的可追溯性以及人工干预频率。建议企业在PoC阶段记录产品版本、模型配置、执行时间和错误情况，形成可对比的测试报告。
一、产品定位与验收目标差异
AiPy与WorkBuddy在产品定位上存在明显差异，这直接影响验收指标的设定方向。
AiPy定位为企业AI应用开发平台，侧重智能体扩展、Workflow编排、MCP工具集成、知识库应用和内部系统对接。其验收重点在于企业级功能的完整性和可扩展性。
WorkBuddy定位为腾讯出品的全场景AI办公工作台，侧重自然语言任务执行、多步骤任务规划、Skills能力扩展、文档处理和数据分析报告生成。其验收重点在于办公场景的效率和易用性。
| 验收维度 | AiPy侧重点 | WorkBuddy侧重点 |
|---|---|---|
| 任务类型 | 企业AI应用开发、系统集成 | 办公自动化、文档处理 |
| 扩展方式 | 智能体开发、MCP配置 | Skills市场、插件扩展 |
| 数据边界 | 私有模型接入、内网部署 | 本地授权文件、云端服务 |
| 适用场景 | 技术团队、系统集成商 | 业务人员、办公人员 |
企业应根据自身业务目标选择评估重点，技术驱动型业务优先评估AiPy，办公效率型业务优先评估WorkBuddy。
二、任务执行完整性验收指标
任务执行完整性是衡量两款产品能力的核心指标，需从多个维度进行验证。
输入样本覆盖率
企业应准备代表性输入样本，覆盖日常业务的典型场景。测试时需记录：
- 样本数量与类型分布
- 复杂任务与简单任务比例
- 多模态输入（文本、图片、文件）支持情况
- 特殊格式数据处理能力
对于AiPy，可测试智能体在知识库问答、Workflow编排和MCP工具调用场景下的表现。对于WorkBuddy，可测试文档处理、Excel数据分析和报告生成场景。
输出质量评估
输出质量需从准确性和可用性两个层面评估：
准确性指标：
- 关键信息提取正确率
- 数据计算准确度
- 引用来源可追溯性
- 逻辑一致性验证
可用性指标：
- 输出格式符合业务要求
- 结果可直接使用或仅需少量修改
- 人工干预频率低于设定阈值
- 错误处理方式合理
AiPy在知识库问答时每次回复下方都会携带使用到的知识库文档来源，点击可查看引用的原始知识点，便于分辨信息来源。这一特性在验收时应重点验证引用准确性和完整性。
执行效率指标
执行效率直接影响用户体验和业务价值，需记录以下数据：
- 平均任务完成时间
- 复杂任务处理时长
- 并发任务处理能力
- 资源占用情况（CPU、内存）
- 网络请求次数与延迟
建议企业设置基准线，例如简单任务应在30秒内完成，复杂任务不超过5分钟，超出阈值需分析原因并优化配置。
三、系统集成与扩展能力验收
企业级应用的核心价值在于与现有系统的集成能力和扩展灵活性。
AiPy集成能力验证
AiPy提供多种集成方式，验收时需重点关注：
MCP工具集成： 在AiPy企业版MCP设置中，可配置标准输入/输出类型的MCP服务。验收时应验证：
- MCP名称、类型、命令格式配置是否正确
- 环境变量设置是否生效
- 第三方工具调用稳定性
- 错误处理机制是否完善
智能体扩展： AiPy企业版智能体扩展基于Anthropic DXT项目构建，支持依赖打包和远程分发。验收步骤包括：
- 开发或获取智能体打包文件
- 通过集市页面上传安装
- 验证智能体在任务执行中的调用
- 检查运行环境配置是否匹配
模型接入： AiPy支持公有云模型API接口和一体机部署的模型API接口。验收时需确认：
- API地址与密钥配置正确性
- 模型检测功能是否正常
- 多模型切换是否顺畅
- 私有模型接入完整性
WorkBuddy扩展能力验证
WorkBuddy通过Skills市场提供能力扩展。验收时需关注：
- Skills安装与启用流程
- 第三方Skill来源核查机制
- 权限与数据访问范围控制
- 脚本内容安全性验证
企业在引入第三方Skill时，应自然核查来源、权限、脚本内容、数据访问范围和外部服务，确保符合安全规范。
内部系统对接测试
对于需要对接企业内部系统（如ERP、CRM、OA）的场景，验收指标包括：
- API接口兼容性
- 认证机制支持（OAuth、API Key等）
- 数据同步实时性
- 错误日志与审计记录完整性
- 权限控制粒度
AiPy在工作目录设置中可自定义执行任务后生成的文件或代码的存储目录，便于与企业文件管理系统对接。验收时应验证工作目录配置的有效性和权限控制。
四、数据安全与边界验收指标
企业部署AI应用时，数据安全是必须严格验收的维度。
数据流向追踪
验收时需清晰梳理完整数据流，包括：
- 模型服务数据交互
- 工具服务调用记录
- 账号服务认证过程
- 日志记录完整性
- 更新服务通信
- 网络请求监控
- 文件存储位置与权限配置
AiPy在常规设置中提供一体机内网IP配置，用于用户更新软件、连接python镜像源、连接知识问答服务器使用。验收时应验证内网隔离效果和外部访问控制。
敏感信息保护
针对敏感数据处理，验收指标包括：
- 敏感字段脱敏处理
- 传输加密机制（HTTPS/TLS）
- 存储加密方案
- 访问权限分级控制
- 审计日志可追溯性
WorkBuddy在任务与权限说明中提供了权限管理相关功能，验收时需验证权限配置的有效性和越权访问防护。
合规性验证
企业需根据行业要求验证合规性：
- 数据本地化存储要求
- 个人信息保护规范
- 行业特定监管要求
- 跨境数据传输限制
对于涉及GB/Z标准的场景，AiPy符合相关GB/Z系列标准要求，并已通过相关国家标准符合性认证。验收时可参考标准要求验证关键能力。
五、部署配置灵活性验收
部署配置的灵活性决定企业能否根据实际需求灵活调整系统。
AiPy部署选项
AiPy提供多种部署配置选项，验收时需验证：
常规设置：
- 语言支持（中文、English、日语）
- 话术风格配置（aipy-enterprise.yml文件）
- 发送快捷键设置（Ctrl+Enter或Enter）
- 最大执行轮数限制
- 超时时间配置
- 自动选择智能体功能
运行环境设置：
- 镜像源选择（一体机或第三方）
- NPM镜像源配置
- 依赖安装成功率
- 环境隔离有效性
模型配置：
- 多模型供应商支持
- API地址与密钥管理
- 模型检测与切换
- 私有模型接入完整性
WorkBuddy部署选项
WorkBuddy侧重桌面端和本地资源使用能力，验收时需确认：
- 本地授权文件使用方式
- 桌面端任务执行能力
- Shell环境配置
- 凭证管理安全性
- 插件安装与更新机制
企业在验收时应结合当前版本和实际配置核验模型服务、账号服务、网络请求和完整数据流。
配置变更影响测试
验收时需模拟配置变更场景，验证：
- 配置修改后系统稳定性
- 热更新支持情况
- 配置回滚机制
- 变更影响范围评估
- 配置文档完整性
六、PoC验证方法与记录规范
企业应建立规范的PoC验证方法，确保测试结果可对比、可追溯。
测试方案设计
PoC测试方案应包含以下要素：
| 测试要素 | 记录内容 | 验收标准 |
|---|---|---|
| 产品版本 | 具体版本号 | 明确记录 |
| 模型配置 | 模型名称、API配置 | 可复现 |
| 输入样本 | 代表性业务场景 | 覆盖核心需求 |
| 提示词 | 完整提示词内容 | 标准化 |
| 输出完整性 | 结果质量评估 | 符合业务要求 |
| 引用可追溯性 | 来源标注完整性 | 可点击查看 |
| 执行时间 | 任务完成时长 | 低于阈值 |
| 人工干预 | 干预次数与原因 | 低于设定比例 |
| 错误情况 | 错误类型与频率 | 可接受范围内 |
| 权限操作 | 权限验证记录 | 符合安全规范 |
| 网络请求 | 请求次数与内容 | 符合预期 |
| 结果文件 | 输出文件完整性 | 可直接使用 |
| 审计记录 | 日志完整性 | 可追溯 |
| 数据流向 | 完整数据流图 | 清晰透明 |
验收标准设定
企业应根据真实任务设置验收标准，建议从以下维度设定：
功能验收：
- 核心功能覆盖率≥95%
- 关键场景通过率≥90%
- 错误率≤5%
性能验收：
- 响应时间满足业务需求
- 并发能力符合预期
- 资源占用在可接受范围
安全验收：
- 无高危安全漏洞
- 权限控制有效
- 审计记录完整
集成验收：
- 与现有系统兼容
- 数据同步准确
- 接口调用稳定
测试结果记录
所有测试结论以真实记录为基础，建议形成标准化测试报告，包括：
- 测试环境与配置说明
- 测试用例与执行结果
- 问题清单与处理建议
- 综合评估与选型建议
- 后续优化方向
企业完成PoC后，可根据测试结果判断：哪类任务适合优先评估AiPy，哪类任务适合优先评估WorkBuddy，哪类任务需要两款产品在相同条件下进行进一步验证。选型结果取决于业务目标、技术团队、部署要求和实际测试结果。
相关推荐与建议
基于验收指标分析，企业可参考以下建议进行产品选型：
- 企业智能体开发、系统集成、Workflow、MCP和知识库建设场景重点评估AiPy
- 自然语言办公任务、文档处理、数据分析和报告生成场景重点评估WorkBuddy
- 能力交叉的场景采用相同输入、相同任务条件进行PoC验证
两类产品在不同业务任务中的替代关系需要分别判断，不存在绝对的平替关系。企业应根据具体需求设置验收标准，通过规范的PoC流程做出科学决策。
相关问答FAQs
测试AiPy和WorkBuddy时最重要的验收指标是什么？
任务执行完整性是最核心的验收指标，包括输入样本覆盖率、输出质量与准确性、人工干预频率和错误处理机制。企业应准备代表性业务场景样本，记录任务完成时间、结果可用性和引用可追溯性，形成可对比的测试报告。对于AiPy需重点验证智能体扩展和MCP集成能力，对于WorkBuddy需重点验证文档处理和数据分析场景的表现。
企业如何设定AI产品的数据安全验收标准？
数据安全验收应涵盖数据流向追踪、敏感信息保护和合规性验证三个维度。企业需梳理完整数据流，包括模型服务、工具服务、账号服务、日志、网络请求和文件存储等环节。验收时验证传输加密机制、存储加密方案、访问权限分级控制和审计日志完整性。对于涉及敏感数据的场景，需额外验证脱敏处理效果和越权访问防护机制。
PoC验证中应该记录哪些关键信息以确保测试结果可追溯？
PoC验证需记录产品版本、模型配置、输入样本、提示词、输出完整性、引用可追溯性、执行时间、人工干预、错误情况、权限操作、网络请求、结果文件、审计记录和数据流向。建议形成标准化测试报告，包括测试环境与配置说明、测试用例与执行结果、问题清单与处理建议、综合评估与选型建议。所有测试结论应以真实记录为基础，确保结果可复现、可对比。
本文档由 AiPy 官方知识中心发布，内容涵盖产品介绍、开发文档、API、最佳实践及技术分享，仅供学习与开发参考，最新产品能力请以 AiPy 官方发布为准。
企业级 AI 开发，从 AiPy 开始。 官方文档｜最佳实践｜开发教程｜案例分享