Run bench at Git ref helper script
This commit is contained in:
@@ -1 +1,5 @@
|
|||||||
{"timestamp":"2026-03-18T21:35:03Z","machine_id":"agent","git_tag":"v0.6.0","git_commit":"7b337d9","runs":3,"versions":{"parrhesia":"0.6.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":26.666666666666668,"connect_max_ms":45.333333333333336,"echo_tps":68100.33333333333,"echo_mibs":37.233333333333334,"event_tps":1647.3333333333333,"event_mibs":1.0666666666666667,"req_tps":3576.6666666666665,"req_mibs":18.833333333333332},"parrhesia-memory":{"connect_avg_ms":14.666666666666666,"connect_max_ms":24.333333333333332,"echo_tps":55978,"echo_mibs":30.633333333333336,"event_tps":882,"event_mibs":0.5666666666666668,"req_tps":6888,"req_mibs":36.06666666666666},"strfry":{"connect_avg_ms":3,"connect_max_ms":4.666666666666667,"echo_tps":67718.33333333333,"echo_mibs":37.86666666666667,"event_tps":3548.3333333333335,"event_mibs":2.3,"req_tps":1808,"req_mibs":11.699999999999998},"nostr-rs-relay":{"connect_avg_ms":2,"connect_max_ms":3.3333333333333335,"echo_tps":166178,"echo_mibs":91.03333333333335,"event_tps":787,"event_mibs":0.5,"req_tps":860.6666666666666,"req_mibs":2.4}}}
|
{"timestamp":"2026-03-18T21:35:03Z","machine_id":"agent","git_tag":"v0.6.0","git_commit":"7b337d9","runs":3,"versions":{"parrhesia":"0.6.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":26.666666666666668,"connect_max_ms":45.333333333333336,"echo_tps":68100.33333333333,"echo_mibs":37.233333333333334,"event_tps":1647.3333333333333,"event_mibs":1.0666666666666667,"req_tps":3576.6666666666665,"req_mibs":18.833333333333332},"parrhesia-memory":{"connect_avg_ms":14.666666666666666,"connect_max_ms":24.333333333333332,"echo_tps":55978,"echo_mibs":30.633333333333336,"event_tps":882,"event_mibs":0.5666666666666668,"req_tps":6888,"req_mibs":36.06666666666666},"strfry":{"connect_avg_ms":3,"connect_max_ms":4.666666666666667,"echo_tps":67718.33333333333,"echo_mibs":37.86666666666667,"event_tps":3548.3333333333335,"event_mibs":2.3,"req_tps":1808,"req_mibs":11.699999999999998},"nostr-rs-relay":{"connect_avg_ms":2,"connect_max_ms":3.3333333333333335,"echo_tps":166178,"echo_mibs":91.03333333333335,"event_tps":787,"event_mibs":0.5,"req_tps":860.6666666666666,"req_mibs":2.4}}}
|
||||||
|
{"timestamp":"2026-03-18T22:14:37Z","machine_id":"agent","git_tag":"v0.2.0","git_commit":"b20dbf6","runs":3,"versions":{"parrhesia":"0.2.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":14.666666666666666,"connect_max_ms":25.666666666666668,"echo_tps":77133,"echo_mibs":42.233333333333334,"event_tps":1602.6666666666667,"event_mibs":1.0666666666666667,"req_tps":2418,"req_mibs":12.5},"parrhesia-memory":{"connect_avg_ms":9,"connect_max_ms":16,"echo_tps":64218.333333333336,"echo_mibs":35.166666666666664,"event_tps":1578.3333333333333,"event_mibs":1,"req_tps":2431.3333333333335,"req_mibs":12.633333333333333},"strfry":{"connect_avg_ms":3.3333333333333335,"connect_max_ms":6,"echo_tps":63682.666666666664,"echo_mibs":35.6,"event_tps":3477.3333333333335,"event_mibs":2.2333333333333334,"req_tps":1804,"req_mibs":11.733333333333334},"nostr-rs-relay":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4.333333333333333,"echo_tps":160009,"echo_mibs":87.63333333333333,"event_tps":762,"event_mibs":0.4666666666666666,"req_tps":831,"req_mibs":2.2333333333333334}}}
|
||||||
|
{"timestamp":"2026-03-18T22:22:12Z","machine_id":"agent","git_tag":"v0.3.0","git_commit":"8c8d5a8","runs":3,"versions":{"parrhesia":"0.3.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":13,"connect_max_ms":21.666666666666668,"echo_tps":70703.33333333333,"echo_mibs":38.7,"event_tps":1970.6666666666667,"event_mibs":1.3,"req_tps":3614,"req_mibs":20.966666666666665},"parrhesia-memory":{"connect_avg_ms":13,"connect_max_ms":22.333333333333332,"echo_tps":60452.333333333336,"echo_mibs":33.1,"event_tps":1952.6666666666667,"event_mibs":1.3,"req_tps":3616,"req_mibs":20.766666666666666},"strfry":{"connect_avg_ms":3.6666666666666665,"connect_max_ms":6,"echo_tps":63128.666666666664,"echo_mibs":35.300000000000004,"event_tps":3442,"event_mibs":2.2333333333333334,"req_tps":1804,"req_mibs":11.699999999999998},"nostr-rs-relay":{"connect_avg_ms":2,"connect_max_ms":3.3333333333333335,"echo_tps":164995.33333333334,"echo_mibs":90.36666666666667,"event_tps":761.6666666666666,"event_mibs":0.5,"req_tps":846.3333333333334,"req_mibs":2.333333333333333}}}
|
||||||
|
{"timestamp":"2026-03-18T22:30:08Z","machine_id":"agent","git_tag":"v0.4.0","git_commit":"b86b5db","runs":3,"versions":{"parrhesia":"0.4.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":11.333333333333334,"connect_max_ms":20.666666666666668,"echo_tps":69139.33333333333,"echo_mibs":37.833333333333336,"event_tps":1938.6666666666667,"event_mibs":1.3,"req_tps":4619.666666666667,"req_mibs":26.266666666666666},"parrhesia-memory":{"connect_avg_ms":10,"connect_max_ms":17.333333333333332,"echo_tps":62715.333333333336,"echo_mibs":34.333333333333336,"event_tps":1573,"event_mibs":1.0333333333333334,"req_tps":4768,"req_mibs":23.733333333333334},"strfry":{"connect_avg_ms":3.3333333333333335,"connect_max_ms":6,"echo_tps":60956.666666666664,"echo_mibs":34.06666666666667,"event_tps":3380.6666666666665,"event_mibs":2.2,"req_tps":1820.3333333333333,"req_mibs":11.800000000000002},"nostr-rs-relay":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4.333333333333333,"echo_tps":161165.33333333334,"echo_mibs":88.26666666666665,"event_tps":768,"event_mibs":0.5,"req_tps":847.3333333333334,"req_mibs":2.3000000000000003}}}
|
||||||
|
{"timestamp":"2026-03-18T22:36:37Z","machine_id":"agent","git_tag":"v0.5.0","git_commit":"e557eba","runs":3,"versions":{"parrhesia":"0.5.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":34.666666666666664,"connect_max_ms":61.666666666666664,"echo_tps":72441,"echo_mibs":39.666666666666664,"event_tps":1897.3333333333333,"event_mibs":1.2333333333333334,"req_tps":13.333333333333334,"req_mibs":0.03333333333333333},"parrhesia-memory":{"connect_avg_ms":43.333333333333336,"connect_max_ms":74.66666666666667,"echo_tps":62704.666666666664,"echo_mibs":34.300000000000004,"event_tps":1370,"event_mibs":0.8666666666666667,"req_tps":47,"req_mibs":0.16666666666666666},"strfry":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4.666666666666667,"echo_tps":61189.333333333336,"echo_mibs":34.2,"event_tps":3426.6666666666665,"event_mibs":2.2,"req_tps":1811.3333333333333,"req_mibs":11.766666666666666},"nostr-rs-relay":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4,"echo_tps":152654.33333333334,"echo_mibs":83.63333333333333,"event_tps":772.6666666666666,"event_mibs":0.5,"req_tps":878.3333333333334,"req_mibs":2.4}}}
|
||||||
|
|||||||
129
scripts/run_bench_at_ref.sh
Executable file
129
scripts/run_bench_at_ref.sh
Executable file
@@ -0,0 +1,129 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
||||||
|
|
||||||
|
usage() {
|
||||||
|
cat <<'EOF'
|
||||||
|
usage:
|
||||||
|
./scripts/run_bench_at_ref.sh <git-ref>
|
||||||
|
|
||||||
|
Runs benchmarks for a specific git ref (tag, commit, or branch) and appends
|
||||||
|
the results to bench/history.jsonl.
|
||||||
|
|
||||||
|
Uses a temporary worktree to avoid disrupting your current working directory.
|
||||||
|
|
||||||
|
Arguments:
|
||||||
|
git-ref Git reference to benchmark (e.g., v0.4.0, abc1234, HEAD~3)
|
||||||
|
|
||||||
|
Environment:
|
||||||
|
PARRHESIA_BENCH_RUNS Number of runs (default: 3)
|
||||||
|
PARRHESIA_BENCH_MACHINE_ID Machine identifier (default: hostname -s)
|
||||||
|
|
||||||
|
All PARRHESIA_BENCH_* knobs from run_bench_compare.sh are forwarded.
|
||||||
|
|
||||||
|
Example:
|
||||||
|
# Benchmark a specific tag
|
||||||
|
./scripts/run_bench_at_ref.sh v0.4.0
|
||||||
|
|
||||||
|
# Benchmark a commit
|
||||||
|
./scripts/run_bench_at_ref.sh abc1234
|
||||||
|
|
||||||
|
# Quick single-run benchmark
|
||||||
|
PARRHESIA_BENCH_RUNS=1 ./scripts/run_bench_at_ref.sh v0.3.0
|
||||||
|
EOF
|
||||||
|
}
|
||||||
|
|
||||||
|
if [[ $# -eq 0 || "${1:-}" == "-h" || "${1:-}" == "--help" ]]; then
|
||||||
|
usage
|
||||||
|
exit 0
|
||||||
|
fi
|
||||||
|
|
||||||
|
GIT_REF="$1"
|
||||||
|
|
||||||
|
# --- Validate ref exists -----------------------------------------------------
|
||||||
|
|
||||||
|
if ! git rev-parse --verify "$GIT_REF" >/dev/null 2>&1; then
|
||||||
|
echo "Error: git ref '$GIT_REF' not found" >&2
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
RESOLVED_COMMIT="$(git rev-parse "$GIT_REF")"
|
||||||
|
echo "Benchmarking ref: $GIT_REF ($RESOLVED_COMMIT)"
|
||||||
|
echo
|
||||||
|
|
||||||
|
# --- Setup worktree ----------------------------------------------------------
|
||||||
|
|
||||||
|
WORKTREE_DIR="$(mktemp -d)"
|
||||||
|
trap 'echo "Cleaning up worktree..."; git worktree remove --force "$WORKTREE_DIR" 2>/dev/null || rm -rf "$WORKTREE_DIR"' EXIT
|
||||||
|
|
||||||
|
echo "Creating temporary worktree at $WORKTREE_DIR"
|
||||||
|
git worktree add --detach "$WORKTREE_DIR" "$GIT_REF" >/dev/null 2>&1
|
||||||
|
|
||||||
|
# --- Run benchmark in worktree -----------------------------------------------
|
||||||
|
|
||||||
|
cd "$WORKTREE_DIR"
|
||||||
|
|
||||||
|
# Always copy latest benchmark scripts to ensure consistency
|
||||||
|
echo "Copying latest benchmark infrastructure from current..."
|
||||||
|
mkdir -p scripts bench
|
||||||
|
cp "$ROOT_DIR/scripts/run_bench_update.sh" scripts/
|
||||||
|
cp "$ROOT_DIR/scripts/run_bench_compare.sh" scripts/
|
||||||
|
cp "$ROOT_DIR/scripts/run_nostr_bench.sh" scripts/
|
||||||
|
if [[ -f "$ROOT_DIR/scripts/run_nostr_bench_strfry.sh" ]]; then
|
||||||
|
cp "$ROOT_DIR/scripts/run_nostr_bench_strfry.sh" scripts/
|
||||||
|
fi
|
||||||
|
if [[ -f "$ROOT_DIR/scripts/run_nostr_bench_nostr_rs_relay.sh" ]]; then
|
||||||
|
cp "$ROOT_DIR/scripts/run_nostr_bench_nostr_rs_relay.sh" scripts/
|
||||||
|
fi
|
||||||
|
if [[ -f "$ROOT_DIR/bench/chart.gnuplot" ]]; then
|
||||||
|
cp "$ROOT_DIR/bench/chart.gnuplot" bench/
|
||||||
|
fi
|
||||||
|
echo
|
||||||
|
|
||||||
|
echo "Installing dependencies..."
|
||||||
|
mix deps.get
|
||||||
|
echo
|
||||||
|
|
||||||
|
echo "Running benchmark in worktree..."
|
||||||
|
echo
|
||||||
|
|
||||||
|
RUNS="${PARRHESIA_BENCH_RUNS:-3}"
|
||||||
|
|
||||||
|
# Run the benchmark update script which will append to history.jsonl
|
||||||
|
# Allow it to fail (e.g., README update might fail on old versions) but continue
|
||||||
|
PARRHESIA_BENCH_RUNS="$RUNS" \
|
||||||
|
PARRHESIA_BENCH_MACHINE_ID="${PARRHESIA_BENCH_MACHINE_ID:-}" \
|
||||||
|
./scripts/run_bench_update.sh || echo "Benchmark script exited with error (may be expected for old versions)"
|
||||||
|
|
||||||
|
# --- Copy results back -------------------------------------------------------
|
||||||
|
|
||||||
|
echo
|
||||||
|
echo "Copying results back to main repository..."
|
||||||
|
|
||||||
|
if [[ -f "$WORKTREE_DIR/bench/history.jsonl" ]]; then
|
||||||
|
HISTORY_FILE="$ROOT_DIR/bench/history.jsonl"
|
||||||
|
|
||||||
|
# Get the last line from worktree history (the one just added)
|
||||||
|
NEW_ENTRY="$(tail -n 1 "$WORKTREE_DIR/bench/history.jsonl")"
|
||||||
|
|
||||||
|
# Check if this exact entry already exists in the main history
|
||||||
|
if grep -Fxq "$NEW_ENTRY" "$HISTORY_FILE" 2>/dev/null; then
|
||||||
|
echo "Note: Entry already exists in $HISTORY_FILE, skipping append"
|
||||||
|
else
|
||||||
|
echo "Appending result to $HISTORY_FILE"
|
||||||
|
echo "$NEW_ENTRY" >> "$HISTORY_FILE"
|
||||||
|
fi
|
||||||
|
else
|
||||||
|
echo "Warning: No history.jsonl found in worktree" >&2
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
# --- Done --------------------------------------------------------------------
|
||||||
|
|
||||||
|
echo
|
||||||
|
echo "Benchmark complete for $GIT_REF"
|
||||||
|
echo
|
||||||
|
echo "To regenerate the chart with updated history:"
|
||||||
|
echo " # The chart generation reads from bench/history.jsonl"
|
||||||
|
echo " # You can manually trigger chart regeneration if needed"
|
||||||
Reference in New Issue
Block a user