Rust ベンチマークプロジェクトの改善: 概要

この記事は英語記事の和訳です。英語の文章が最も最新なので、あくまで参考程度にしてください

Google Summer of Code (GSoC) に Improve Rust benchmark suite というプロジェクトで参加します。 つい数日前に正式なコーディング期間が始まったので、軽い紹介を書いておきます。

Announcing Google Summer of Code 2024 selected projects

GSoC とは

GSoC は夏の間、学生を中心とした新たにOSSに取り組む人に対してメンターを付けてプロジェクトに取り組ませ、OSSコントリビュータを育成するプログラムです。今年で開催20周年で、私の採択されたRust Foundationは初めての参加でした。

このGSoCへの応募のために rustc-perf へPRをいくつか送ったのが人生で初めての¹OSSへの貢献だったので、途端に大きなプロジェクトに取り組み、尚且つコミュニケーションがほぼ全て英語という環境にまだ戸惑っています。また、日本では学期が4月に始まることもあり、プロジェクト期間のほとんどが夏休みではないことも心配ではありますが、最後まで頑張ろうと思います。

また、無事に修了できたらGSoCへの応募についての記事などを書くかもしれません。

プロジェクトについて

rust-lang/rustc-perf は Rust 言語のコンパイラ rustc のパフォーマンスを計測・可視化するためのプロジェクトです。計測のための collector と、その可視化のためのWebサイトである site の二つで構成されます。

私のプロジェクトでは、この rustc-perf プロジェクト、特にその site を様々な手段で改善します。現時点で優先度の高いタスクをいくつか紹介します。

• Embed query trace visualizer into rust-lang.org (RLO)

  • 現在、クエリトレースの可視化には主に Perfetto を利用しています。しかし、Perfettoは外部サイトにJSでデータを送る方法のみが積極的にサポートされ、そのためにロードが遅かったり、失敗たり、また、複数のページを往復しなければならず、ユーザに負担がありました。
  • このタスクでは、 Catapult や、 FireFox Profiler などを利用して RLO 内に query trace visualizer を埋め込むことを目指します。
  • Related issues:
    • https://github.com/rust-lang/rustc-perf/issues/1857

• Add runtime benchmark graphs

  • 現在、 rustc-perf ではコンパイル時のパフォーマンスのベンチマークと、実行時のパフォーマンスのベンチマークが記録されています。しかし、ランタイムのベンチマークが収集され始めたのは去年頃で、まだコンパイル時のパフォーマンスのベンチマークに比べてWebサイト上での可視化が十分ではありません。
  • このタスクでは、様々なページにランタイムパフォーマンスのグラフを追加し、コンパイルパフォーマンスと同等の可視化を行います。
  • Related issues:
    • https://github.com/rust-lang/rustc-perf/issues/1816
    • https://github.com/rust-lang/rustc-perf/issues/1817
    • https://github.com/rust-lang/rustc-perf/issues/1818

もちろん、これらは一例であり、今後別のタスクを優先して取り組む可能性もありますが、現在は上記の2つに取り組んでいます。 また、合わせて小さな改善も行っていけると良いでしょう。

これまでの進捗

GSoC以外が忙しく、これまでに作業できたのは数日だけなのですが、現在までに、様々な query trace visualizer を試しました。例えば Perfetto や speedscope、Catapultなどです。

今私たちが求める(最低限の)要件は以下です:

• サイト内へ埋め込みができる
  • これによって Perfetto が除外されました。もちろん多くの労力をかければ不可能ではないかもしれませんが、まずは他のアイデアを優先しました。
• 速度が現実的である
  • speedscope は他の箇所はとてもよかったのですが、30万レコードを超えるデータを読み込ませると再帰関数によってstack overflowを引き起こし、また、JSONファイルのパースに5分以上かかってしまったため諦めました。Chrome の Trace Event Format だとサイズが大きくなりやすいのはそうなので、protobufなどを利用すればうまく動くかもしれませんが、こちらも他のアイデアを先に試すことにしました。
• (なるべく) HTML, CSS, JavaScript 以外に依存しない
  • 現時点で試したものの中では、 Catapult が最も良い結果を示しました。もちろん、Catapult はメンテナンスの状況などが好ましくなく、他のプロジェクトでは Perfetto に移行しているものも多いでしょう。しかし、 rustc-perf においてはその点はあまり重要ではないと判断し、一旦試してみました。
  • Catapult には trace2html という Standalone で動作する HTML ファイルを生成する方法があります。これを利用して生成した HTML ファイルをサーバ側で読み込み、レスポンスとして返すような単純な実装で最低限の要件は満たされました。しかし、このプログラムは Python で動作しており、追加のランタイムが必要になるので、FireFox Profiler などを今後試す予定です。

また、先週 rustc-perf に含まれるパッケージのアップデートを行いました。(これによって Highcharts の色が少しだけ変わりました)

終わりに

今後も(おそらくは) プロジェクトと GSoC 2024 についての内容を投稿していこうと思います。何かあれば気軽に Zulip などでご連絡ください。

Footnotes

1. ドキュメントのタイポの修正などを除く ↩