deep-survey ｜出典: 30+ 論文の評価節を横断抽出｜ ▲ ハブに戻る

① 「テスト」には正反対の 2 モードがあるTwo Opposite Modes

この分野の実証は、証明対象が真逆の 2 系統に分かれる。研究プロトタイプを作る前に、自分がどちらをやるのかを決める。

モード	構成的プロトタイプ（constructive）	実証・計測研究（empirical）
問い	「正しく・速く作れたか」	「実世界で仮説が成り立つ確率は」
中心指標	proving/verify 時間・proof サイズ・gas・throughput・制約数	脱匿名化成功率・実効匿名集合・分類器 FPR/FNR・経済指標
「テスト」の意味	機能デモ + ベンチ + 形式的安全性証明（ゲーム/UC）	仮説検定と成功率推定（t検定/Spearman/Poisson）
ground truth	不要（自分で作る系だから正解を知っている）	能動実験 / サービス提供 / 押収データから獲得し、必ずオンチェーンで裏取り
代表	PaxPay, Zef, zk-creds, Haze/Daze, Merces	BestMixer 傍受解析, CoinJoin adoption, zkp-mixer improve/worsen

規制対応 consensus-free 決済（PaxPay 系）を作るなら主に構成的モード。ただし「公称匿名集合 vs 実効匿名集合」を主張するなら実証モードの手法（⑥）を借りる — この 2 つを橋渡しできると強い（例: 自作システムの実効匿名性を計測で裏付ける）。

② 5 つの評価アーキタイプFive Evaluation Archetypes

30+ 論文の評価節を横断すると、測り方は 5 パターンに収束する。どのアーキタイプに乗るかで、必要な実装・機材・比較相手が決まる。

A. 分散システム型consensus-free

FastPay / Zef / Astro / Hamilton / PaxPay

機材AWS/EC2 商用インスタンス（m5.8xlarge / c5n.2xlarge / t2.medium）を1 validator = 1 インスタンスで多リージョン分散（EU/US/APAC）

主指標throughput（tx/s）× latency、2 階層（単機マイクロベンチ + 分散マクロベンチ）

キラー実験sharding の線形スケール（shard 数↑で throughput が線形に伸びる図）— consensus-free の核心的セールス

B. ZK 回路型Groth16 / Bulletproofs

zk-creds / Haze-Daze / Hurricane / Merces / PriDe CT / SwiftRange / PaxPay の NIZK

機材M1/M-series ラップトップ 1 台で proving、Ganache/anvil/Remix VM でローカル gas 計測

主指標proving / verify 時間 + proof サイズ + R1CS 制約数 + gas 表（deploy/deposit/withdraw）

代用Solidity は実時間計測不可 → gas を計算コストの proxy に代用（PriDe CT が明言）

C. スマートカード実機型offline CBDC

IBM SE / balancing-SE-2025 / PayOff（一部）

機材実 Secure Element（NXP SmartMX/JCOP、ACOSJ 95K）+ 実スマホ（Galaxy A34 / iPhone 13）、NFC/BLE

主指標プロトコルのサブステップ別 E2E レイテンシ（相互認証 / value exchange / 同期）。決済認可 <400ms〜数秒

キラー実験履歴チェーン長スイープ（転送ホップ 1→32、同期取引数 n）で「payer 側は履歴非依存 / payee 側は線形増加」を示す

D. 監査台帳型bank-scale

zkLedger / MiniLedger / Aegis

機材単機マイクロベンチ + 数〜十数 VM（bank 毎 1 サーバ）

主指標tx 作成/検証（bank 数に線形）+ 監査コスト（commitment cache で ledger サイズ非依存になることを示す）+ ストレージ

キラー実験bank 数 × ledger tx 数の 2 次元スイープ（2〜100 bank × 〜10 万 tx）

E. オンチェーン計測型empirical / deanon

BestMixer 傍受 / CoinJoin adoption / zkp-mixer / demystifying / Wu survey

データ全ブロック範囲のログ、押収 .pcap、能動実験の自己 tx、第三者ラベル（BEV extractor / CEX アドレス）

主指標実効匿名集合の縮小率、脱匿名化成功率、分類器 FPR/FNR、経済指標（流入額・手数料）

検証仮説検定 + ground-truth をオンチェーン一次データで二重に裏取り

③ consensus-free 決済の測り方（PaxPay 系の標準）Archetype A in detail

あなたが作りたい「validator が誰でもよい汎用決済レール」はこのアーキタイプ。ここが最も重要。

論文	実装	機材	throughput の定義と数値	障害テスト
FastPay (AFT 2020)	Rust + Tokio + ed25519-dalek、<4000 LOC + 1375 test、OSS	m5d.metal / m5d.8xlarge 多リージョン、MacBook client	レイテンシ上限内の最大 tx/s。160,000 tx/s @48 shards、各点 9 回平均	crash-fault（authority を kill、f>3 で liveness 喪失確認）
Zef (WPES 2023)	FastPay 拡張、Coconut(BLS12-381)+Bulletproofs 改造、OSS	m5.8xlarge 5 リージョン	latency cap（250-300ms 通常 / 500-1000ms 匿名）内の最大。regular 20K / anon 50 tx/s、2 回平均	crash-fault のみ（Byzantine 実測は「open problem」と明言）
Astro (DSN 2020)	Golang <3.5K LOC、ECDSA P-256、baseline に BFT-SMaRt	t2.medium（あえて安価）4 リージョン、tc で 20ms 注入	peak throughput = レイテンシ飽和直前。2K–5K pps、60s×3 回平均	crash-stop + netem で asynchrony 注入
Hamilton (NSDI 2023)	C++17、LevelDB+Raft+libsecp256k1、Bitcoin Core 流用、OSS	c5n.2xlarge 米 3 リージョン、8 shards×replica 3	TX/s + tail(99%/50%)。1.7M txns/s（99%tail<1s）	実障害注入（Raft ノード強制終了→復旧実測、2DC 障害 <15s 復旧）
PaxPay (AFT 2025)	Golang + Gnark(Groth16, BLS12-377/BW6-761)、OSS	単機 i7 で NIZK、AWS m5.8xlarge 1validator/instance	latency<500ms を満たす最大。925 tx/s(16core)、regulated/not 別実装で差分	二重使用・Byzantine validator は機構で保証（実験は throughput 中心）

consensus-free の「型」— 8 つの作法

2 階層ベンチ: 単機マイクロ（μs〜ms、署名検証・証明生成、Table）+ 分散マクロ（tx/s・ms、Figure）を分離
throughput = レイテンシ上限内の最大（生の tx/s でなく SLA つき。BFT の飽和挙動を反映）
1 validator = 1 EC2 インスタンスを多リージョン配置（地理レイテンシを現実化）
sharding 線形性の図がキラー実験（shard 数↑ → throughput 線形）
障害実験は crash-fault 中心、Byzantine 実測は避けて形式証明で担保（Hamilton だけ実障害注入）
比較は「既存実装を自前デプロイ」（Astro→BFT-SMaRt、Hamilton→PostgreSQL/CockroachDB）か「論文値転記」（FastPay）。他実装の直接ベンチは実装差で不公平として避ける
VISA レート（~1,700–65,000 tps）を現実の基準線として引用
理論寄り論文（Pastro/CryptoConcurrency）は実装を持たず RTT 数・O 記法の解析のみ — 実測の有無は「新プロトコル」か「最適化」かで二極化

④ ZK / 回路系の測り方Archetype B in detail

FoldPay や mixer 系プロトタイプで必ず使う。Groth16 型と Bulletproofs 型で報告様式が違う。

系統	報告する数値	匿名集合の表現	trusted setup	代表数値
Groth16 型 (circom/Gnark)	R1CS 制約数・定数 proof サイズ・定数検証(3 pairing)・deploy/deposit/withdraw の gas 表	Merkle 深さ（32 = Tornado 実運用値）	要（TC Nova の setup 再利用も）	zk-creds show 5ms/verify 3ms/744B、Haze deposit +4.1% gas、Merces 300+ TPS
Bulletproofs/DLog 型	群冪演算数の漸近式（O(N), O(N log N)）+ N をスイープした proving/verify	リングサイズ N（2 の冪、4〜128）	不要（売り）	SwiftRange 32bit 1.73× 高速、PriDe CT N=64 で 51s/77M gas

測定条件の作法: 実行回数を明記する系（zk-creds 100 回中央値+95%CI、threshold-BBS+ 最低 150 回）と、単発ガスのみの系（zkMixer）で厳密さに差。比較相手はほぼ固定 — mixer 系は Tornado Cash、transfer 系は Anonymous Zether。匿名集合パラメータは実証データ由来の値を借用して現実性を担保する慣行（Hurricane が Merkle 深さ 32・UTXO 入力 3 = Bitcoin 実証平均）。

⑤ CBDC / Secure Element の測り方Archetype C in detail

オフライン CBDC・モバイル決済のプロトタイプなら、実機スマートカードでのステップ別レイテンシが標準。

論文	実機	測る対象	スイープ軸
IBM SE (2024)	NXP SmartMX/JCOP + Galaxy A34/iPhone13、NFC/BLE	withdrawal/payment のステップ別、決済認可 <400ms、監査 +10-20%	転送チェーン長 1〜32 ホップ
balancing-SE (2025)	ACOSJ 95K カード実機 2 枚 + シミュレート端末、OSS	E2E レイテンシ（相互認証が 72.9% = 最大コスト）、payment ~4.8s	同期取引数 n=0/1/4/10、compliance 3 種、認証 2 版
PayOff (2024)	実機なし、Ryzen ラップトップで回路ベンチ	回路ごと proof 生成/検証/制約数、143→5,000 payments/s（コア試算）	未署名履歴 1/51/101、オフライン期間 1日〜6ヶ月

ソフトウェアのみの CBDC proof 系（PayOff/KAIME/Aegis/Rayls）はアーキタイプ B に寄る（回路の proof/verify/制約数を単機で測り、中銀スループットは「並列コア数 × 単機実測」で外挿、ネットワークは瞬時と仮定）。実機スマートカードを持つのは IBM SE と balancing のみ。Hamilton は例外で CBDC 系唯一の分散スループットベンチ（アーキタイプ A）。

⑥ 実証・計測研究の測り方Archetype E in detail

「公称匿名集合 vs 実効匿名集合」を主張したいとき、あるいは 0xbow Privacy Pools の実効匿名性を測りたいときの手法。あなたの cryo/Dune スタックが直接効く。

論文	データソース	手法	代表数値
CoinJoin adoption (2021)	全ブロック 2018-2022、Wasabi コーディネータ 28,890 tx を ground truth	閾値ヒューリスティック vs ランダムフォレスト（8 特徴・500 木）、pre/post クラスタリング	検出 RF accuracy 99.98%、実効匿名集合 75K→25K 未満に縮小
zkp-mixer (2023)	TC/Typhoon 全 73 プール、BEV extractor リストは著者に直接連絡	coin flow tracing（distance 1/2）+ 5 リンキングヒューリスティック H1-H5、AM 報酬式の逆算	実効匿名集合 27-46% 削減、$412.87M 洗浄、制裁後 83% 減
mixed-signals (2023)	押収 .pcap 傍受データ 739 ファイル → 15,574 tx（法執行 ground truth）	TShark で特徴抽出、t検定/Spearman/Poisson、IP を VPN/Tor 分類	IP 秘匿 61% のみ、リピーター 23%、隠しサービス利用者は 3 倍額
demystifying (2021)	4 サービス、能動実験 + API クロール	swapping/obfuscating 2 モデル、Seed-Expansion Algorithm	識別カバレッジ 92%、Binance ハック資金追跡成功
Wu survey (FC 2021)	21 サービス、5 つに能動実験（計 $100、各 3 試行）	主張 vs 実測の齟齬を tx ID 追跡で暴く	学術防御機構ほぼ未実装、coin theft を実演

実証研究の「型」— ground-truth の 3 経路と作法

能動実験: 自分で少額（$100 級）を送金し入出力 tx ID を握って真の対応を得る。複数試行で再現性確認、倫理的に自己資金・極小額に限定
サービス/第三者提供: コーディネータ提供 tx、OXT スナップショット、既存研究の BEV/CEX ラベル
法執行の押収データ: BestMixer の傍受 .pcap（最も強力だが入手困難）
どの経路でも必ずオンチェーン一次データで二重に裏取り（mixed-signals の 3 段階フィルタ、coinjoin の手動実行照合）
公称 = 暗号的にプールに入ったアドレス数 / 実効 = ヒューリスティックでリンク解消後に残る区別不能集合、の二層で匿名性を捉える
正しさは仮説検定（分類器 FPR/FNR、t/Spearman/Poisson、カバレッジ%）で担保 — 証明ではなく確率推定

⑦ 自分で研究プロトタイプを測るなら — チェックリストIf You Build One

F プログラム（permissionless 決済）/ FoldPay を評価するときの、これまでの型から導いた必須項目。

構成的プロトタイプの最低要件（AFT/CCS の実質的通過ライン）

OSS で出す — PaxPay/Zef/Hamilton/zkLedger/Merces は全て公開。他系がソース非公開で「論文値転記」比較しかできない現状の逆を突く
2 階層ベンチ — 単機マイクロ（proving/verify/制約数）+ 分散マクロ（throughput@latency-SLA）
regulated / not-regulated を別実装で測る（PaxPay の作法。規制オーバーヘッドを分離 = FoldPay の裏取りにも使う）
sharding 線形性の図（consensus-free の核心。PaxPay が「未実装」で残した宿題 = F4 ShardScale）
状態成長率を測る（PaxPay が測っていない新指標。nullifier/comList のバイト成長。permissionless では再構成コストも）
比較は自前デプロイか論文値転記、他実装直接ベンチは「不公平」と断って避ける
形式証明を分離して付ける — ゲームベース（DDH/DLog 還元）が最低ライン、UC まで行けば重厚。実装ベンチと証明は別セクション
攻撃テストを差別化点にできる — 全 30 本で fuzzing/fault injection を「した」論文はほぼゼロ。Hamilton の実障害注入が最も攻撃的。ここは空白 = 差をつけられる

⑧ 全論文に共通する手薄な検証（＝差をつけられる余地）Underexplored Verification

30+ 論文を横断して「誰もちゃんとやっていない」検証。ここを埋めると評価の質で抜ける。

G1攻撃テスト・fuzzing がほぼ皆無 — 全 30 本で fault injection/fuzzing/ペンテストを行った論文はゼロに近い。実機 SE 系ですらハードウェア攻撃（fault injection）を評価対象外にする。Hamilton の実障害注入が最も攻撃的な例。

G2Byzantine 下の実測が「open problem」のまま — consensus-free 系は全て crash-fault だけ実測し、Byzantine は形式証明で担保して実験を避ける（Zef が明言）。Byzantine validator 下の throughput 実測は空白。

G3ネットワーク層を「瞬時」と仮定 — 多くの proof 系 CBDC がデータ交換を瞬時と仮定し、匿名チャネルの実コスト・メタデータ漏れを測らない。実効プライバシーの主因なのに未計測。

G4第三者監査への言及が皆無 — 構成系 30 本で外部セキュリティ監査に言及した論文はゼロ。実運用を主張する Rayls ですら実運用データを出さない。

G5公称 vs 実効匿名性を自作システムで測らない — 実証研究（アーキタイプ E）は既存の TC/Wasabi を計測するが、構成論文が自分のシステムの実効匿名集合を計測で示す例はない。構成×実証の橋渡しが空白。

→これらは F プログラム（permissionless 決済プロトタイプ群）の評価設計で差別化点にできる。特に G2（Byzantine 実測）・G3（ネットワーク層計測）・G5（自作システムの実効匿名性）は、新しい比較表の列を立てられる。