Skip to content

Polymarket: import poly_data history for trade-only research - #1141

Draft
proerror77 wants to merge 2 commits into
mainfrom
codex/poly-data-research-integration
Draft

Polymarket: import poly_data history for trade-only research#1141
proerror77 wants to merge 2 commits into
mainfrom
codex/poly-data-research-integration

Conversation

@proerror77

@proerror77 proerror77 commented Sep 10, 2026

Copy link
Copy Markdown
Owner

Change

将 pinned poly_data V2 的 markets.csv / orderFilled.csv 接入现有 Rust 采集和研究入口。polymarket-raw-ops import-poly-data 有输入哈希、行/字节上限、精确金额与 token 映射、逐原因隔离、不可覆盖发布和独立回读;monday-prediction-research --explore-trades 消费同一经过验证的产物,输出成交事件、价格、数量统计。

缺少 log index 时保留每个来源行并报告身份歧义;有 log index 时只去除完全相同的链上事件,冲突身份的所有行均隔离。区块时间不冒充历史可用时间,trade-only 产物不能进入现有 L2/completeness/Ready/holdout/promotion 路径。上游 processed CSV 的浮点价格与丢失的原始资产字段不适合作为导入真源,因此只支持已检查的 raw V2 profile。

操作与来源说明:docs/research/poly-data-history.md,含完整导入、重复导入、验证、研究读取命令、最小实时采集配置,以及待真实数据就绪后执行的 BTC 5m 固定研究基线契约。

Issue relationship

None

Validation

  • macOS focused tests:cargo test -p hft-collector --lib --locked --offline poly_data,11 passed;cargo test -p hft-data --lib --locked --offline history_token_ids,1 passed。
  • 研究消费者:cargo test -p ploy-research --lib --locked --offline historical_trade_consumer,2 passed。
  • hft-data / hft-collector all-targets、collector-binance feature 的 scoped Clippy:通过,-D warnings
  • ploy-research library 与 monday-prediction-research 的 scoped Clippy:通过,-D warnings
  • cargo metadata --locked --offline --no-depsgit diff --cached --check、managed worktree preflight:通过。
  • Monorepo CI:通过。已回读 Rust Workspace 日志,12 项 poly_data 测试全过,包含 Linux 不可覆盖发布、重复导入、无 _SUCCESS 的中断恢复和损坏拒绝。
  • Prediction Markets CI:通过。研究库 339 项默认测试全过,新消费者两项测试在默认及 ML 特性下均通过;研究二进制与统一镜像冒烟通过。
  • Security & QualityDocker Smoke Build:通过,包含严格 Linux Clippy 和全部 5 个镜像构建。
  • 当前 PR head 为 c988ec10a8037ca28f6c5b03c203146fbf4cdd1c。CI 合并测试提交 c2fe7adee378550af2112b0ff5dce18d00bee9ed 的源码树与此 head 完全相同(fe2634b14bd0c1600877f4e7000e01af50880192);这不代表 PR 已实际合并。

实际限制:当前没有提供真实 poly_data CSV、匹配的 PIT CEX/官方结算产物、认证 cohort/partition 或本次基线运行 grant。导入/研究接入的代码和合成测试已完成;真实数据导入与 BTC 样本外基线仍受这些输入阻塞。没有训练、收益、L2 完整性或 sealed holdout 成绩声明。

Runtime impact and rollback

复用现有采集和 artifact 发布实现;新增历史导入与描述性研究命令。未修改部署配置、未停止采集、未进行生产切换或新付费订阅,live 继续关闭。回滚为撤销实现提交;已发布的历史产物按不可变证据保留。此 PR 当前保持 draft,未合并、未部署。

@coderabbitai

coderabbitai Bot commented Sep 10, 2026

Copy link
Copy Markdown

Important

Draft PR not reviewed

Draft PRs are not automatically reviewed by default.

  • Trigger a manual review

To automatically review draft PRs, update your CodeRabbit configuration:

reviews:
  auto_review:
    drafts: true

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

Comment @coderabbitai help to get the list of available commands.

Copy link
Copy Markdown
Owner Author

@codex 请开始实现这个 PR 的任务,不要只做 review 或再次输出计划。用户明确要求:转到 Codex 上的 Monday 项目,执行采用 https://github.com/warproxxx/poly_data 支撑历史数据与策略研究的建议。

请先读取 docs/plans/2026-09-10-poly-data-research-integration.md 与适用 AGENTS.md,检查最新代码和 upstream 的真实 schema,然后完成 Rust-only 的外部历史成交导入、来源/质量/幂等性验证,以及现有研究消费者接入。复用已有 Polymarket/CEX 实时采集;完成一个有真实数据边界、时间隔离和成本假设的 BTC 5m 或 15m 研究基线。不要把 trade-only 数据当成 L2 或可成交报价,不要削弱 completeness、holdout 或运行时风险闸。

当前 PR 仅是交接规格,请将实现和 focused tests 推回此分支,或给出明确关联的实现 PR;遵循仓库 CI/交付规则,不能只合并规格并宣称完成。缺少真实数据、凭证或既有运行预算时,先完成所有独立代码和验证,准确报告阻塞,不制造研究结果。保持 live disabled,本任务不做生产切换或新付费订阅。

请回复任务链接或接单状态,并用中文汇报实际修改、验证结果与剩余阻塞。

@chatgpt-codex-connector

Copy link
Copy Markdown

To use Codex here, create an environment for this repo.

1 similar comment
@chatgpt-codex-connector

Copy link
Copy Markdown

To use Codex here, create an environment for this repo.

Copy link
Copy Markdown
Owner Author

@codex 用户已为 proerror77/monday 创建好 Codex 云端环境,请现在开始执行本 PR 的实现任务。读取 docs/plans/2026-09-10-poly-data-research-integration.md、适用 AGENTS.md 及前面的实施说明,刷新当前代码和 upstream schema,完成 Rust-only 的 poly_data 历史成交导入、质量/来源/幂等性验证与现有研究消费者接入,复用现有实时采集。请实际实现和运行 focused tests,不要只 review 或再次给计划;将实现推回此分支或关联实现 PR。保持 trade-only 与 L2/可成交报价的区别,遵守现有研究和风险闸,live 保持关闭。真实数据/凭证/预算不足时先完成独立代码与验证,再报告具体阻塞。请回复接单状态或 Codex 任务链接,并用中文报告结果。

@chatgpt-codex-connector

Copy link
Copy Markdown

Codex couldn't complete this request. Try again later.

@proerror77 proerror77 changed the title Polymarket: integrate poly_data historical trades into research Polymarket: import poly_data history for trade-only research Sep 10, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant