From 101a506eda05d83946d751220556c8b80e18c478 Mon Sep 17 00:00:00 2001 From: Steffen Beyer Date: Wed, 18 Mar 2026 23:14:21 +0100 Subject: [PATCH] Run bench at Git ref helper script --- bench/history.jsonl | 4 ++ scripts/run_bench_at_ref.sh | 129 ++++++++++++++++++++++++++++++++++++ 2 files changed, 133 insertions(+) create mode 100755 scripts/run_bench_at_ref.sh diff --git a/bench/history.jsonl b/bench/history.jsonl index 738d9b1..7182523 100644 --- a/bench/history.jsonl +++ b/bench/history.jsonl @@ -1 +1,5 @@ {"timestamp":"2026-03-18T21:35:03Z","machine_id":"agent","git_tag":"v0.6.0","git_commit":"7b337d9","runs":3,"versions":{"parrhesia":"0.6.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":26.666666666666668,"connect_max_ms":45.333333333333336,"echo_tps":68100.33333333333,"echo_mibs":37.233333333333334,"event_tps":1647.3333333333333,"event_mibs":1.0666666666666667,"req_tps":3576.6666666666665,"req_mibs":18.833333333333332},"parrhesia-memory":{"connect_avg_ms":14.666666666666666,"connect_max_ms":24.333333333333332,"echo_tps":55978,"echo_mibs":30.633333333333336,"event_tps":882,"event_mibs":0.5666666666666668,"req_tps":6888,"req_mibs":36.06666666666666},"strfry":{"connect_avg_ms":3,"connect_max_ms":4.666666666666667,"echo_tps":67718.33333333333,"echo_mibs":37.86666666666667,"event_tps":3548.3333333333335,"event_mibs":2.3,"req_tps":1808,"req_mibs":11.699999999999998},"nostr-rs-relay":{"connect_avg_ms":2,"connect_max_ms":3.3333333333333335,"echo_tps":166178,"echo_mibs":91.03333333333335,"event_tps":787,"event_mibs":0.5,"req_tps":860.6666666666666,"req_mibs":2.4}}} +{"timestamp":"2026-03-18T22:14:37Z","machine_id":"agent","git_tag":"v0.2.0","git_commit":"b20dbf6","runs":3,"versions":{"parrhesia":"0.2.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":14.666666666666666,"connect_max_ms":25.666666666666668,"echo_tps":77133,"echo_mibs":42.233333333333334,"event_tps":1602.6666666666667,"event_mibs":1.0666666666666667,"req_tps":2418,"req_mibs":12.5},"parrhesia-memory":{"connect_avg_ms":9,"connect_max_ms":16,"echo_tps":64218.333333333336,"echo_mibs":35.166666666666664,"event_tps":1578.3333333333333,"event_mibs":1,"req_tps":2431.3333333333335,"req_mibs":12.633333333333333},"strfry":{"connect_avg_ms":3.3333333333333335,"connect_max_ms":6,"echo_tps":63682.666666666664,"echo_mibs":35.6,"event_tps":3477.3333333333335,"event_mibs":2.2333333333333334,"req_tps":1804,"req_mibs":11.733333333333334},"nostr-rs-relay":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4.333333333333333,"echo_tps":160009,"echo_mibs":87.63333333333333,"event_tps":762,"event_mibs":0.4666666666666666,"req_tps":831,"req_mibs":2.2333333333333334}}} +{"timestamp":"2026-03-18T22:22:12Z","machine_id":"agent","git_tag":"v0.3.0","git_commit":"8c8d5a8","runs":3,"versions":{"parrhesia":"0.3.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":13,"connect_max_ms":21.666666666666668,"echo_tps":70703.33333333333,"echo_mibs":38.7,"event_tps":1970.6666666666667,"event_mibs":1.3,"req_tps":3614,"req_mibs":20.966666666666665},"parrhesia-memory":{"connect_avg_ms":13,"connect_max_ms":22.333333333333332,"echo_tps":60452.333333333336,"echo_mibs":33.1,"event_tps":1952.6666666666667,"event_mibs":1.3,"req_tps":3616,"req_mibs":20.766666666666666},"strfry":{"connect_avg_ms":3.6666666666666665,"connect_max_ms":6,"echo_tps":63128.666666666664,"echo_mibs":35.300000000000004,"event_tps":3442,"event_mibs":2.2333333333333334,"req_tps":1804,"req_mibs":11.699999999999998},"nostr-rs-relay":{"connect_avg_ms":2,"connect_max_ms":3.3333333333333335,"echo_tps":164995.33333333334,"echo_mibs":90.36666666666667,"event_tps":761.6666666666666,"event_mibs":0.5,"req_tps":846.3333333333334,"req_mibs":2.333333333333333}}} +{"timestamp":"2026-03-18T22:30:08Z","machine_id":"agent","git_tag":"v0.4.0","git_commit":"b86b5db","runs":3,"versions":{"parrhesia":"0.4.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":11.333333333333334,"connect_max_ms":20.666666666666668,"echo_tps":69139.33333333333,"echo_mibs":37.833333333333336,"event_tps":1938.6666666666667,"event_mibs":1.3,"req_tps":4619.666666666667,"req_mibs":26.266666666666666},"parrhesia-memory":{"connect_avg_ms":10,"connect_max_ms":17.333333333333332,"echo_tps":62715.333333333336,"echo_mibs":34.333333333333336,"event_tps":1573,"event_mibs":1.0333333333333334,"req_tps":4768,"req_mibs":23.733333333333334},"strfry":{"connect_avg_ms":3.3333333333333335,"connect_max_ms":6,"echo_tps":60956.666666666664,"echo_mibs":34.06666666666667,"event_tps":3380.6666666666665,"event_mibs":2.2,"req_tps":1820.3333333333333,"req_mibs":11.800000000000002},"nostr-rs-relay":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4.333333333333333,"echo_tps":161165.33333333334,"echo_mibs":88.26666666666665,"event_tps":768,"event_mibs":0.5,"req_tps":847.3333333333334,"req_mibs":2.3000000000000003}}} +{"timestamp":"2026-03-18T22:36:37Z","machine_id":"agent","git_tag":"v0.5.0","git_commit":"e557eba","runs":3,"versions":{"parrhesia":"0.5.0","strfry":"strfry 1.0.4 (nixpkgs)","nostr-rs-relay":"nostr-rs-relay 0.9.0","nostr-bench":"nostr-bench 0.4.0"},"servers":{"parrhesia-pg":{"connect_avg_ms":34.666666666666664,"connect_max_ms":61.666666666666664,"echo_tps":72441,"echo_mibs":39.666666666666664,"event_tps":1897.3333333333333,"event_mibs":1.2333333333333334,"req_tps":13.333333333333334,"req_mibs":0.03333333333333333},"parrhesia-memory":{"connect_avg_ms":43.333333333333336,"connect_max_ms":74.66666666666667,"echo_tps":62704.666666666664,"echo_mibs":34.300000000000004,"event_tps":1370,"event_mibs":0.8666666666666667,"req_tps":47,"req_mibs":0.16666666666666666},"strfry":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4.666666666666667,"echo_tps":61189.333333333336,"echo_mibs":34.2,"event_tps":3426.6666666666665,"event_mibs":2.2,"req_tps":1811.3333333333333,"req_mibs":11.766666666666666},"nostr-rs-relay":{"connect_avg_ms":2.6666666666666665,"connect_max_ms":4,"echo_tps":152654.33333333334,"echo_mibs":83.63333333333333,"event_tps":772.6666666666666,"event_mibs":0.5,"req_tps":878.3333333333334,"req_mibs":2.4}}} diff --git a/scripts/run_bench_at_ref.sh b/scripts/run_bench_at_ref.sh new file mode 100755 index 0000000..0db8d20 --- /dev/null +++ b/scripts/run_bench_at_ref.sh @@ -0,0 +1,129 @@ +#!/usr/bin/env bash +set -euo pipefail + +ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)" + +usage() { + cat <<'EOF' +usage: + ./scripts/run_bench_at_ref.sh + +Runs benchmarks for a specific git ref (tag, commit, or branch) and appends +the results to bench/history.jsonl. + +Uses a temporary worktree to avoid disrupting your current working directory. + +Arguments: + git-ref Git reference to benchmark (e.g., v0.4.0, abc1234, HEAD~3) + +Environment: + PARRHESIA_BENCH_RUNS Number of runs (default: 3) + PARRHESIA_BENCH_MACHINE_ID Machine identifier (default: hostname -s) + +All PARRHESIA_BENCH_* knobs from run_bench_compare.sh are forwarded. + +Example: + # Benchmark a specific tag + ./scripts/run_bench_at_ref.sh v0.4.0 + + # Benchmark a commit + ./scripts/run_bench_at_ref.sh abc1234 + + # Quick single-run benchmark + PARRHESIA_BENCH_RUNS=1 ./scripts/run_bench_at_ref.sh v0.3.0 +EOF +} + +if [[ $# -eq 0 || "${1:-}" == "-h" || "${1:-}" == "--help" ]]; then + usage + exit 0 +fi + +GIT_REF="$1" + +# --- Validate ref exists ----------------------------------------------------- + +if ! git rev-parse --verify "$GIT_REF" >/dev/null 2>&1; then + echo "Error: git ref '$GIT_REF' not found" >&2 + exit 1 +fi + +RESOLVED_COMMIT="$(git rev-parse "$GIT_REF")" +echo "Benchmarking ref: $GIT_REF ($RESOLVED_COMMIT)" +echo + +# --- Setup worktree ---------------------------------------------------------- + +WORKTREE_DIR="$(mktemp -d)" +trap 'echo "Cleaning up worktree..."; git worktree remove --force "$WORKTREE_DIR" 2>/dev/null || rm -rf "$WORKTREE_DIR"' EXIT + +echo "Creating temporary worktree at $WORKTREE_DIR" +git worktree add --detach "$WORKTREE_DIR" "$GIT_REF" >/dev/null 2>&1 + +# --- Run benchmark in worktree ----------------------------------------------- + +cd "$WORKTREE_DIR" + +# Always copy latest benchmark scripts to ensure consistency +echo "Copying latest benchmark infrastructure from current..." +mkdir -p scripts bench +cp "$ROOT_DIR/scripts/run_bench_update.sh" scripts/ +cp "$ROOT_DIR/scripts/run_bench_compare.sh" scripts/ +cp "$ROOT_DIR/scripts/run_nostr_bench.sh" scripts/ +if [[ -f "$ROOT_DIR/scripts/run_nostr_bench_strfry.sh" ]]; then + cp "$ROOT_DIR/scripts/run_nostr_bench_strfry.sh" scripts/ +fi +if [[ -f "$ROOT_DIR/scripts/run_nostr_bench_nostr_rs_relay.sh" ]]; then + cp "$ROOT_DIR/scripts/run_nostr_bench_nostr_rs_relay.sh" scripts/ +fi +if [[ -f "$ROOT_DIR/bench/chart.gnuplot" ]]; then + cp "$ROOT_DIR/bench/chart.gnuplot" bench/ +fi +echo + +echo "Installing dependencies..." +mix deps.get +echo + +echo "Running benchmark in worktree..." +echo + +RUNS="${PARRHESIA_BENCH_RUNS:-3}" + +# Run the benchmark update script which will append to history.jsonl +# Allow it to fail (e.g., README update might fail on old versions) but continue +PARRHESIA_BENCH_RUNS="$RUNS" \ +PARRHESIA_BENCH_MACHINE_ID="${PARRHESIA_BENCH_MACHINE_ID:-}" \ + ./scripts/run_bench_update.sh || echo "Benchmark script exited with error (may be expected for old versions)" + +# --- Copy results back ------------------------------------------------------- + +echo +echo "Copying results back to main repository..." + +if [[ -f "$WORKTREE_DIR/bench/history.jsonl" ]]; then + HISTORY_FILE="$ROOT_DIR/bench/history.jsonl" + + # Get the last line from worktree history (the one just added) + NEW_ENTRY="$(tail -n 1 "$WORKTREE_DIR/bench/history.jsonl")" + + # Check if this exact entry already exists in the main history + if grep -Fxq "$NEW_ENTRY" "$HISTORY_FILE" 2>/dev/null; then + echo "Note: Entry already exists in $HISTORY_FILE, skipping append" + else + echo "Appending result to $HISTORY_FILE" + echo "$NEW_ENTRY" >> "$HISTORY_FILE" + fi +else + echo "Warning: No history.jsonl found in worktree" >&2 + exit 1 +fi + +# --- Done -------------------------------------------------------------------- + +echo +echo "Benchmark complete for $GIT_REF" +echo +echo "To regenerate the chart with updated history:" +echo " # The chart generation reads from bench/history.jsonl" +echo " # You can manually trigger chart regeneration if needed"