sandbench

Basic benchmarks to compare performance (start up time) of sandboxed code execution providers. Just Daytona and Modal for now.

> summarize select running_time_ms from results where provider = 'daytona';
┌─────────────────┬─────────────┬─────────┬─────────┬───────────────┬─────────┬───────────────────┬─────────┬─────────┬─────────┬───────┬─────────────────┐
│ column_name │ column_type │ min │ max │ approx_unique │ avg │ std │ q25 │ q50 │ q75 │ count │ null_percentage │
│ varchar │ varchar │ varchar │ varchar │ int64 │ varchar │ varchar │ varchar │ varchar │ varchar │ int64 │ decimal(9,2) │
├─────────────────┼─────────────┼─────────┼─────────┼───────────────┼─────────┼───────────────────┼─────────┼─────────┼─────────┼───────┼─────────────────┤
│ running_time_ms │ INTEGER │ 852 │ 2418 │ 91 │ 1115.55 │ 262.2702891016337 │ 986 │ 1044 │ 1136 │ 100 │ 0.00 │
└─────────────────┴─────────────┴─────────┴─────────┴───────────────┴─────────┴───────────────────┴─────────┴─────────┴─────────┴───────┴─────────────────┘

> summarize select running_time_ms from results where provider = 'modal';
┌─────────────────┬─────────────┬─────────┬─────────┬───────────────┬─────────┬───────────────────┬─────────┬─────────┬─────────┬───────┬─────────────────┐
│ column_name │ column_type │ min │ max │ approx_unique │ avg │ std │ q25 │ q50 │ q75 │ count │ null_percentage │
│ varchar │ varchar │ varchar │ varchar │ int64 │ varchar │ varchar │ varchar │ varchar │ varchar │ int64 │ decimal(9,2) │
├─────────────────┼─────────────┼─────────┼─────────┼───────────────┼─────────┼───────────────────┼─────────┼─────────┼─────────┼───────┼─────────────────┤
│ running_time_ms │ INTEGER │ 912 │ 2468 │ 93 │ 1477.66 │ 334.4546056377804 │ 1224 │ 1439 │ 1696 │ 100 │ 0.00 │
└─────────────────┴─────────────┴─────────┴─────────┴───────────────┴─────────┴───────────────────┴─────────┴─────────┴─────────┴───────┴─────────────────┘

Running

To install dependencies:

bun install

To run:

bun run index.ts