[Perf] Changes at 12/4/2020 4:50:12 AM

[performanceautofiler]

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare	e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_UInt64

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
ToString	432.44 ns	580.73 ns	1.34
ToString	1.22 μs	1.81 μs	1.48
TryFormat	1.22 μs	1.80 μs	1.47
TryFormat	255.86 ns	294.03 ns	1.15
TryFormat	452.67 ns	590.16 ns	1.30

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_UInt64*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_UInt64.ToString(value: 12345)

[408.607 ; 420.332) | @@@@@
[420.332 ; 430.699) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[430.699 ; 440.568) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[440.568 ; 452.035) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[452.035 ; 462.963) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[462.963 ; 472.832) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[472.832 ; 485.631) | @@@@@@@@@@
[485.631 ; 496.385) | @@@
[496.385 ; 515.236) | @@
[515.236 ; 534.974) | 
[534.974 ; 554.711) | 
[554.711 ; 569.175) | 
[569.175 ; 587.684) | @@@@@@@@@@@@@

System.Tests.Perf_UInt64.ToString(value: 18446744073709551615)

[1136.773 ; 1177.651) | @@@@@@
[1177.651 ; 1214.555) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1214.555 ; 1251.046) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1251.046 ; 1290.462) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1290.462 ; 1326.848) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1326.848 ; 1359.944) | @@@@
[1359.944 ; 1396.435) | @
[1396.435 ; 1432.926) | 
[1432.926 ; 1469.417) | 
[1469.417 ; 1505.908) | 
[1505.908 ; 1542.398) | 
[1542.398 ; 1578.889) | 
[1578.889 ; 1615.380) | 
[1615.380 ; 1651.871) | 
[1651.871 ; 1688.362) | 
[1688.362 ; 1724.853) | 
[1724.853 ; 1765.144) | 
[1765.144 ; 1824.758) | @@@@@@@@@@@@@

System.Tests.Perf_UInt64.TryFormat(value: 18446744073709551615)

[1173.754 ; 1203.443) | @@@@@
[1203.443 ; 1241.390) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1241.390 ; 1278.209) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1278.209 ; 1316.496) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1316.496 ; 1354.117) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1354.117 ; 1391.165) | @@@@@@@
[1391.165 ; 1425.067) | @@@
[1425.067 ; 1462.702) | @@
[1462.702 ; 1499.521) | 
[1499.521 ; 1536.340) | 
[1536.340 ; 1573.159) | 
[1573.159 ; 1609.978) | 
[1609.978 ; 1646.796) | 
[1646.796 ; 1683.615) | 
[1683.615 ; 1720.434) | 
[1720.434 ; 1757.253) | 
[1757.253 ; 1786.175) | 
[1786.175 ; 1822.994) | @@@@@@@@@@@@@

System.Tests.Perf_UInt64.TryFormat(value: 0)

[233.816 ; 238.541) | @
[238.541 ; 243.266) | 
[243.266 ; 248.893) | 
[248.893 ; 258.313) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[258.313 ; 265.761) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[265.761 ; 276.282) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[276.282 ; 282.192) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[282.192 ; 292.772) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[292.772 ; 303.827) | @@@@@@@@@@@@@@@@@@@
[303.827 ; 315.591) | @@@
[315.591 ; 325.753) | @

System.Tests.Perf_UInt64.TryFormat(value: 12345)

[436.042 ; 447.014) | @@@@@@@@@@
[447.014 ; 456.409) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[456.409 ; 471.328) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[471.328 ; 485.119) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[485.119 ; 496.423) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[496.423 ; 516.487) | @@@@@@@@@@@@@@@@@@@@@@@
[516.487 ; 535.393) | 
[535.393 ; 550.639) | @
[550.639 ; 569.545) | 
[569.545 ; 591.973) | @@@@@@@@@@
[591.973 ; 613.237) | @@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare	e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_Int64

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
TryFormat	451.25 ns	631.93 ns	1.40

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_Int64*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_Int64.TryFormat(value: 12345)

[448.165 ; 458.370) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[458.370 ; 468.366) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[468.366 ; 485.807) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[485.807 ; 497.733) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[497.733 ; 517.456) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[517.456 ; 530.406) | @@@
[530.406 ; 546.831) | @@
[546.831 ; 566.823) | 
[566.823 ; 585.694) | 
[585.694 ; 598.572) | @@@@@@@
[598.572 ; 622.877) | @@@@@
[622.877 ; 636.927) | @

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare	e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_UInt32

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
TryFormat	353.11 ns	490.59 ns	1.39
TryFormat	199.62 ns	228.59 ns	1.15

Related Issue on x64 Windows

[Perf -11%] System.Tests.Perf_UInt32.TryParseHex

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_UInt32*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_UInt32.TryFormat(value: 12345)

[340.858 ; 352.020) | @
[352.020 ; 361.272) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[361.272 ; 370.484) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[370.484 ; 379.825) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[379.825 ; 388.030) | @@@@@@@@@@@@@@@@@@@
[388.030 ; 397.242) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[397.242 ; 406.070) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[406.070 ; 420.619) | @@@@@@
[420.619 ; 429.831) | @@
[429.831 ; 439.044) | 
[439.044 ; 448.256) | 
[448.256 ; 464.059) | @
[464.059 ; 473.271) | 
[473.271 ; 488.892) | 
[488.892 ; 507.085) | @@@@@@@@@@@@@

System.Tests.Perf_UInt32.TryFormat(value: 0)

[192.895 ; 199.461) | @@@@@@@@@@@@@@@@@@@@@@@@@@@
[199.461 ; 207.814) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[207.814 ; 213.840) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[213.840 ; 219.757) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[219.757 ; 228.627) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[228.627 ; 233.730) | @@@@@@@@@@@@@
[233.730 ; 238.672) | @@@@@@@@@
[238.672 ; 246.449) | @@@@@@
[246.449 ; 254.348) | 
[254.348 ; 262.247) | 
[262.247 ; 272.879) | @

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare	e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_SByte

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
ToString	419.86 ns	506.13 ns	1.21

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_SByte*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_SByte.ToString(value: -128)

[410.540 ; 422.549) | @@@@@@@@@@@@@@@@@@@@@@@@
[422.549 ; 433.197) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[433.197 ; 449.830) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[449.830 ; 465.655) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[465.655 ; 475.223) | @@@@@@@@@@@@@@@
[475.223 ; 491.172) | @@@@@@
[491.172 ; 505.867) | @@@@@@
[505.867 ; 518.585) | @@@@@@@@
[518.585 ; 532.900) | @@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare	e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_Int32

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
TryFormat	774.92 ns	1.07 μs	1.38

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_Int32*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_Int32.TryFormat(value: -2147483648)

[ 726.139 ;  744.492) | @@@
[ 744.492 ;  765.623) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 765.623 ;  783.850) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 783.850 ;  804.068) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 804.068 ;  822.295) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 822.295 ;  841.032) | @@@@@@@@@@@@@@@@@@@@@@@
[ 841.032 ;  863.560) | @@@@@@
[ 863.560 ;  881.787) | @@
[ 881.787 ;  900.014) | 
[ 900.014 ;  918.241) | 
[ 918.241 ;  936.468) | 
[ 936.468 ;  954.695) | 
[ 954.695 ;  972.922) | 
[ 972.922 ;  991.149) | 
[ 991.149 ; 1022.239) | @@
[1022.239 ; 1079.824) | @@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare	e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Buffers.Text.Tests.Utf8FormatterTests

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
FormatterDecimal	1.40 μs	1.64 μs	1.17

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Buffers.Text.Tests.Utf8FormatterTests*'

.

Payloads

Baseline
Compare

Histogram

System.Buffers.Text.Tests.Utf8FormatterTests.FormatterDecimal(value: 123456.789)

[1355.626 ; 1393.250) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1393.250 ; 1445.805) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1445.805 ; 1495.440) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1495.440 ; 1535.333) | @@@@
[1535.333 ; 1579.660) | @@
[1579.660 ; 1615.343) | 
[1615.343 ; 1662.777) | @@@@@@@@@@@
[1662.777 ; 1742.637) | @@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

[naricc]

I think this is caused by the underlying interpreter issue I already copied to dotnet/runtime: dotnet/runtime#45879, so I am closing this one in favor of that.