ProAI 是一个聚焦于 AI 安全测试与代码风险审计的开源平台,适用于大模型安全评估、提示词测试集管理,以及 MCP 源码包的自动化扫描分析。 项目同时提供前端操作台与后端评估服务,支持 OpenAI / Ollama 模型接入,能够帮助团队更快完成模型风险测试、漏洞发现、评估留档和结果复盘。
- 双评估能力:同时支持大模型安全评测与 MCP 服务代码安全扫描
- 多测试集管理:内置 TC260、通用测试集与自定义测试集,支持批量导入、导出和搜索
- 自动化评测流程:从提示词抽取、模型调用、裁判模型判定到结果落库全流程自动执行
- 评估报告可视化:提供通过率、趋势、最近任务、评分结果等可视化展示
- MCP 风险审计:支持上传 MCP 项目压缩包,自动分析代码结构、潜在漏洞与可利用性
- 模型接入灵活:支持配置目标模型与裁判模型,兼容 OpenAI 与 Ollama
- 本地持久化:基于 SQLite 保存评估任务、明细记录、提示词库与系统配置
- 多标准支持:内置 TC260 国标测试集、通用测试集
- 自定义测试:支持自定义提示词库和测试场景
- 自动化评估:基于 AI 评估器自动判定模型输出安全性
- 详细报告:生成完整的评估报告,支持导出 HTML 格式
- 代码审计:自动分析 MCP 服务器代码结构和潜在风险
- 漏洞检测:识别常见安全漏洞(命令注入、路径遍历等)
- AI 辅助审计:利用大模型深度分析代码安全性
- 可利用性评估:评估发现漏洞的实际威胁等级
- 弹药库管理:统一管理测试提示词,支持批量导入/导出
- 评估历史:完整记录所有评估任务和结果
- 数据可视化:直观展示评估趋势和统计数据
- Node.js >= 18
- npm >= 9
npm install同时启动前端和后端开发服务器:
npm run dev或分别启动:
# 启动前端(端口 5173)
npm run dev:web
# 启动后端 API(端口 3000)
npm run dev:api# 构建前端和后端
npm run build
# 启动生产环境 API 服务
npm run start:api首次使用需要配置 AI 评估器:
- 访问
模型设置 - 选择提供商(OpenAI 或 Ollama)
- 填写 API 地址和密钥
- 测试连接并保存
proai/
├─ public/ # 静态资源
├─ server/ # Express API 与评估任务执行逻辑
├─ src/
│ ├─ components/ # 公共组件
│ ├─ layout/ # 页面布局
│ ├─ pages/ # 业务页面
│ ├─ api.ts # 前端 API 封装
│ ├─ types.ts # 类型定义
│ └─ App.tsx # 路由入口
├─ package.json
└─ README.md
- 框架:React 19 + TypeScript
- 路由:React Router 7
- 构建工具:Vite 7
- 图表:Recharts
- 引导提示:Driver.js
- 运行时:Node.js + TypeScript
- 框架:Express 5
- 数据库:SQLite 3
- 文件上传:Multer
- 数据验证:Zod
评估引擎负责执行 AI 模型安全测试:
- 从弹药库选择测试提示词
- 发送到被测模型获取输出
- 将输出提交给评估器模型判定
- 记录结果并生成报告
MCP 扫描器采用多阶段流水线架构:
- 项目分析:解析代码结构,识别工具和资源
- AI 审计:利用大模型分析潜在安全风险
- 可利用性评估:评估漏洞的实际威胁等级
- 报告生成:汇总发现并生成详细报告
使用 SQLite 存储所有数据:
evaluations- 评估任务evaluation_items- 评估明细prompts- 提示词库mcp_scans- MCP 扫描任务settings- 系统配置
欢迎提交 Issue 和 Pull Request!
AGPL-3.0 License © 2026 ProAI Contributors
本项目通用测试集使用 Rogue Security 提供的数据集: https://huggingface.co/datasets/rogue-security/prompt-injections-benchmark





