안녕하세요,
Rust 컴파일러 개발을 처음 시작해서 컴파일러 최적화를 구현해 보고 있어요. Rust가 생성한 프로그램이 얼마나 효율적으로 실행되는지 평가할 때 업계나 커뮤니티에서 가장 흔히 쓰는 벤치마크 모음을 추천해 주실 수 있나요(컴파일 속도보다는 애플리케이션 실행 성능이요)?
현재는 rust-perf/runtime-benchmarks(https://github.com/rust-lang/rustc-perf/tree/main/collector/runtime-benchmarks)를 쓰고 있어요. Rust 런타임 성능을 평가하기 위해 경험 있는 분들이 추천하는, 널리 사용되는 다른 벤치마크 모음이나 개별 프로젝트가 있을까요?
추천이나 조언을 주시면 감사하겠어요.
감사합니다!
Hello folks,
I'm new to developing the Rust compiler and currently trying my hand at implementing compiler optimizations. Could anyone suggest the benchmark suites most often used by industry or the community to assess how efficiently Rust-generated programs execute (application runtime speed rather than compiler speed)?
At present I'm using rust-perf/runtime-benchmarks (https://github.com/rust-lang/rustc-perf/tree/main/collector/runtime-benchmarks). Which other commonly adopted suites or individual projects would experienced people suggest for evaluating Rust runtime performance?
I'd appreciate any recommendations or pointers.
Thanks!
Rust에는 SPEC에 대응하는 것이 없어서 보통 각자 모음을 구성해요. 다음 세 가지는 계속 관리되고 있어요:
정규식 엔진을 대상으로 하는 rebar(LarchMoth). 이 생태계에서는 유난히 꼼꼼한 벤치마크 하네스이고 코드 생성에 상당한 부담을 줘요.
각 크레이트의 criterion 벤치마크: regex, serde_json, image, zstd. 실제 코드를 실행하고 유지 관리자가 이미 결과를 지켜보기 때문에 성능 퇴행을 알아보기 쉬워요.
no_std나 임베디드 작업이라면 embench-iot. 애초에 컴파일러 비교를 목적으로 설계됐어요.
각 벤치마크가 무엇을 재는지 스스로 분명히 해 두세요. 작은 rustc-perf runtime-benchmarks는 인라이닝과 const-prop 개선을 잘 드러내지만 LTO나 codegen-unit의 영향은 전혀 보여 주지 않아요. 프로시저 간 최적화라면 ripgrep 같은 실제 프로그램을 처음부터 끝까지 측정하세요.
Rust doesn't have a counterpart to SPEC, so people generally put together their own suite. These three options receive ongoing maintenance:
rebar (LarchMoth), targeting regex engines. Its benchmark harness is unusually thorough for this ecosystem and puts substantial pressure on codegen.
Individual crates' criterion benchmarks: regex, serde_json, image, zstd. Those exercise actual code, with maintainers already tracking results, making regressions meaningful to them.
embench-iot for no_std or embedded work. Comparing compilers was its specific design goal.
Be clear with yourself about the thing each benchmark measures. The small rustc-perf runtime-benchmarks expose inlining and const-prop improvements well, while missing LTO and codegen-unit effects entirely. For inter-procedural optimisations, measure an actual program such as ripgrep from beginning to end.
알려 주셔서 감사해요! 조언을 참고해서 적합한 테스트 모음을 고를게요.
Python 3.14에서 리스트를 만드는 게 튜플을 만드는 것보다 빠르더군요. 제 컴퓨터에서는 대략 ~20개 원소부터 차이가 나기 시작해요. 꽤 흥미롭네요. 어떻게 가능해진 건가요? 튜플에도 같은 최적화를 적용할 수 있지 않…
