Automated Implicit Computational Complexity Analysis

This page provides a detailed summary of the experiments performed with the icct complexity tool, which is based on the termination prover
TTT2. icct is available for download as bytecode executable. Further, a native version for linux can be found here. It can be invoked using the command $ icct -s "<STRATEGY>" [-p] <FILE> . Here <FILE> should be a file according to the Termination Competition Data Base Format. If the option option -p is additionally supplied then a detailed proof script is printed to the console. The option -s <STRATEGY> decides the method that should be applied. Currently the following strategies are supported:

Experimental Data

All test were performed on a standard PC with a 2.4 GHz Intel Pentium IV processor and 512 MB of RAM. A green cell indicates that the method was successful, when the cell is yellow the test failed. A red cell indicates that either a timeout of 60 seconds was reached or the calculation was aborted due to a stack overflow. We have tested all methods described above. Additionally, we compare them to Quasi-MPO (MPO+QP), which is theoretically more powerful than LMPO and POP*, but does not induce polytime computability anymore.

We consider two testbeds:

TCT on testbed C

Popstar POP* + QP POP* + SL LMPO SMC PPO AND QI MPO + QP
countaverage time countaverage time countaverage time countaverage time countaverage time countaverage time countaverage time
Yes 410.053 430.047 740.192 540.044 690.507 510.279 690.052
Maybe 5510.091 5490.102 5111.024 5380.080 3944.740 5400.216 5230.120
No 00.000 00.000 00.000 00.000 00.000 00.000 00.000
TIMEOUT (60.0 sec.) 00.000 00.000 756.145 00.000 12957.771 160.089 00.000

Popstar POP* + QP POP* + SL LMPO SMC PPO AND QI MPO + QP
AG01/#3.1.trs 0.046 0.031 0.133 0.031 0.526 0.032 0.057
AG01/#3.10.trs 0.086 0.127 1.224 0.084 60.057 0.113 0.137
AG01/#3.12.trs 0.053 0.041 0.284 0.035 0.476 0.033 0.053
AG01/#3.13.trs 0.096 0.149 13.269 0.092 60.113 0.054 0.130
AG01/#3.14.trs 0.045 0.036 0.519 0.033 0.906 0.031 0.056
AG01/#3.15.trs 0.035 0.035 0.194 0.037 0.651 0.032 0.039
AG01/#3.16.trs 0.047 0.037 0.161 0.054 0.401 0.388 0.038
AG01/#3.18.trs 0.047 0.040 0.276 0.040 0.832 0.056 0.046
AG01/#3.2.trs 0.033 0.035 0.149 0.033 0.904 0.031 0.038
AG01/#3.23.trs 0.035 0.028 0.090 0.027 0.287 0.027 0.029
AG01/#3.24.trs 0.029 0.029 0.049 0.030 0.904 0.030 0.031
AG01/#3.26.trs 0.028 0.031 0.050 0.027 0.115 0.028 0.064
AG01/#3.29.trs 0.039 0.029 0.095 0.029 0.103 0.026 0.032
AG01/#3.31.trs 0.033 0.028 0.087 0.029 0.670 0.036 0.027
AG01/#3.33.trs 0.047 0.065 0.105 0.038 1.092 0.052 0.047
AG01/#3.35.trs 0.037 0.039 0.059 0.035 0.126 0.115 0.056
AG01/#3.36.trs 0.036 0.040 0.114 0.038 9.187 0.034 0.037
AG01/#3.37.trs 0.036 0.037 0.105 0.035 60.014 0.031 0.032
AG01/#3.38.trs 0.051 0.043 0.283 0.038 0.669 0.035 0.048
AG01/#3.41.trs 0.051 0.030 0.058 0.028 1.234 0.031 0.028
AG01/#3.42.trs 0.036 0.042 0.120 0.036 1.352 0.036 0.033
AG01/#3.47.trs 0.031 0.052 0.139 0.029 0.532 0.029 0.039
AG01/#3.48.trs 0.036 0.038 0.277 0.037 60.078 0.034 0.034
AG01/#3.49.trs 0.048 0.048 0.317 0.058 0.042 0.033 0.053
AG01/#3.5.trs 0.050 0.057 0.236 0.066 7.736 0.040 0.053
AG01/#3.52.trs 0.037 0.033 0.263 0.032 0.261 0.027 0.043
AG01/#3.53.trs 0.066 0.086 1.017 0.072 1.978 0.050 0.126
AG01/#3.53a.trs 0.029 0.029 0.094 0.029 0.106 0.029 0.030
AG01/#3.53b.trs 0.044 0.034 0.234 0.035 0.267 0.030 0.063
AG01/#3.54.trs 0.033 0.034 0.277 0.032 0.228 0.029 0.037
AG01/#3.55.trs 0.062 0.093 1.448 0.071 60.297 0.469 0.110
AG01/#3.5a.trs 0.330 0.061 0.259 0.115 7.886 0.043 0.055
AG01/#3.5b.trs 0.057 0.071 0.369 0.056 15.261 0.047 0.069
AG01/#3.6.trs 0.057 0.065 0.370 0.050 6.407 0.041 0.061
AG01/#3.6a.trs 0.070 0.084 0.304 0.047 5.427 0.044 0.086
AG01/#3.6b.trs 0.082 0.078 0.417 0.057 15.891 0.067 0.074
AG01/#3.7.trs 0.189 0.034 0.086 0.031 0.305 0.032 0.040
AG01/#3.8a.trs 0.037 0.041 0.242 0.038 5.902 0.036 0.057
AG01/#3.8b.trs 0.049 0.063 0.536 0.048 8.687 0.044 0.080
AG01/#4.30c.trs 0.051 0.063 0.324 0.047 4.283 0.042 0.059
AProVE/AAECC-ring.trs 0.347 1.000 60.052 0.378 60.510 1.152 0.882
AProVE/AAECC.trs 0.296 0.165 1.531 0.115 60.804 0.694 0.198
AProVE/IJCAR_1.trs 0.043 0.099 0.265 0.034 0.422 0.053 0.037
AProVE/JFP_Ex51.trs 0.075 0.093 0.666 0.063 3.257 0.087 0.097
AProVE/LPAR_intlist.trs 0.064 0.049 0.211 0.059 0.712 0.036 0.036
AProVE/fac.trs 0.044 0.107 0.224 0.040 60.295 0.294 0.050
AProVE/forward_instantiation.trs 0.069 0.047 0.254 0.035 0.137 0.029 0.035
AProVE/forward_instantiation2.trs 0.048 0.037 0.232 0.035 0.142 0.028 0.035
AProVE/rta1.trs 0.047 0.040 0.493 0.039 60.065 0.035 0.054
AProVE/rta2.trs 0.047 0.030 0.086 0.028 0.098 0.049 0.029
AProVE/rta3.trs 0.040 0.113 0.245 0.042 1.951 0.034 0.216
Beerendonk/1.trs 0.079 0.037 0.159 0.036 1.242 0.051 0.042
Beerendonk/10.trs 0.054 0.067 0.187 0.214 21.307 0.047 0.069
Beerendonk/11.trs 0.070 0.070 0.616 0.056 14.188 0.051 0.067
Beerendonk/12.trs 0.069 0.076 0.228 0.049 1.472 0.039 0.059
Beerendonk/13.trs 0.048 0.062 0.406 0.050 5.867 0.036 0.080
Beerendonk/14.trs 0.070 0.060 0.414 0.048 5.207 0.043 0.076
Beerendonk/15.trs 0.070 0.245 0.507 0.074 60.046 0.046 0.093
Beerendonk/16.trs 0.108 0.328 1.269 0.088 60.760 0.480 0.141
Beerendonk/17.trs 0.191 0.132 0.598 0.085 61.023 1.460 0.234
Beerendonk/18.trs 0.350 0.130 0.912 0.088 60.034 0.060 0.095
Beerendonk/19.trs 0.098 0.147 1.594 0.112 60.038 0.051 0.166
Beerendonk/2.trs 0.051 0.036 0.173 0.035 2.537 0.031 0.045
Beerendonk/20.trs 0.076 0.077 0.447 0.062 60.154 0.265 0.080
Beerendonk/21.trs 0.077 0.087 0.978 0.068 60.104 0.048 0.087
Beerendonk/22.trs 0.052 0.060 0.302 0.049 15.262 0.038 0.060
Beerendonk/23.trs 0.061 0.067 0.764 0.056 3.092 0.038 0.067
Beerendonk/24.trs 0.147 0.115 0.737 0.084 60.083 0.054 0.124
Beerendonk/3.trs 0.048 0.037 0.242 0.036 4.313 0.033 0.065
Beerendonk/4.trs 0.049 0.036 0.148 0.034 0.658 0.031 0.113
Beerendonk/5.trs 0.040 0.045 0.147 0.040 60.067 0.043 0.053
Beerendonk/6.trs 0.039 0.034 0.095 0.032 0.585 0.032 0.038
Beerendonk/7.trs 0.039 0.035 0.081 0.033 9.409 0.082 0.039
Beerendonk/8.trs 0.062 0.040 0.241 0.040 60.019 0.040 0.055
Beerendonk/9.trs 0.058 0.042 0.491 0.042 60.075 0.038 0.059
CSR/Ex1_Luc04b_GM.trs 0.253 0.156 0.353 0.064 0.875 0.057 0.090
Cime/ack_prolog.trs 0.070 0.043 0.228 0.040 7.415 0.035 0.051
Cime/append-hard.trs 0.050 0.049 0.158 0.038 0.714 0.033 0.048
Cime/append-wrong.trs 0.041 0.048 0.157 0.039 0.453 0.033 0.048
Cime/append.trs 0.034 0.133 0.256 0.033 0.264 0.033 0.047
Cime/fact-hard.trs 0.052 0.064 0.333 0.055 60.018 0.043 0.203
Cime/filliatre.trs 0.074 0.095 0.978 0.061 28.526 0.047 0.101
Cime/filliatre2.trs 0.083 0.122 0.863 0.065 39.131 0.087 0.102
Cime/filliatre3.trs 0.113 0.106 1.126 0.073 23.445 0.087 0.129
Cime/list-sum-prod.trs 0.053 0.051 0.238 0.044 1.486 1.277 0.086
Cime/maude2.trs 0.089 0.193 0.773 0.097 27.314 0.085 0.222
Cime/quick.trs 0.106 0.129 17.885 0.088 4.698 0.076 0.181
D33/06.trs 0.065 0.034 0.065 0.030 0.066 0.113 0.032
D33/08.trs 0.040 0.054 0.216 0.042 0.169 0.138 0.053
D33/11.trs 0.041 0.113 0.611 0.085 0.300 0.304 0.117
D33/18.trs 0.037 0.029 0.157 0.032 0.075 0.082 0.035
D33/21.trs 0.036 0.039 0.145 0.038 60.334 0.546 0.033
D33/27.trs 0.070 0.045 0.067 0.030 0.068 0.027 0.032
D33/32.trs 0.048 0.059 2.519 0.065 1.531 0.046 0.058
Endrullis/direct.trs 0.070 0.057 0.786 0.038 0.534 0.031 0.050
HM/n002.trs 0.056 0.026 0.034 0.038 0.026 0.026 0.027
HM/n003.trs 0.027 0.026 0.085 0.026 0.044 0.025 0.027
HM/n004.trs 0.027 0.026 0.025 0.025 0.026 0.154 0.028
HM/n005.trs 0.091 0.025 0.031 0.025 0.070 0.026 0.026
HM/n006.trs 0.033 0.080 0.035 0.025 0.046 0.027 0.026
HM/n007.trs 0.034 0.029 0.077 0.029 0.028 0.027 0.029
HM/t001.trs 0.082 0.064 0.653 0.065 3.804 0.061 0.059
HM/t002.trs 0.090 0.067 0.248 0.044 60.037 0.049 0.035
HM/t003.trs 0.068 0.070 1.960 0.065 60.034 0.046 0.112
HM/t004.trs 0.048 0.039 0.056 0.032 60.234 0.219 0.167
HM/t007.trs 0.049 0.030 0.068 0.029 0.124 0.034 0.033
HM/t009.trs 0.733 1.651 30.323 1.310 60.018 0.444 1.704
HM/t011.trs 0.041 0.032 0.079 0.031 0.093 0.028 0.035
HM/t013.trs 0.038 0.042 0.144 0.038 9.477 0.056 0.039
HM/t014.trs 0.044 0.048 0.261 0.045 60.285 0.571 0.060
Koprowski/gcd_triple.trs 0.226 0.054 1.263 0.067 60.050 0.055 0.086
LJB01/jones1.trs 0.054 0.032 0.221 0.038 0.141 0.030 0.041
LJB01/jones2.trs 0.030 0.036 0.190 0.030 0.190 0.029 0.036
LJB01/jones4.trs 0.055 0.038 0.351 0.038 0.287 0.029 0.037
LJB01/jones5.trs 0.040 0.032 0.132 0.044 0.197 0.038 0.038
LJB01/jones6.trs 0.042 0.035 0.394 0.033 0.239 0.030 0.065
Rubio/bintrees.trs 0.067 0.037 0.525 0.036 0.847 0.036 0.073
Rubio/division.trs 0.043 0.055 0.283 0.044 3.464 0.039 0.060
Rubio/elimdupl.trs 0.045 0.060 0.442 0.046 1.509 0.040 0.071
Rubio/enno.trs 0.075 0.120 5.888 0.059 3.236 0.048 0.132
Rubio/gcd.trs 0.054 0.065 0.292 0.050 6.839 0.044 0.065
Rubio/gm.trs 0.071 0.036 0.160 0.038 1.053 0.033 0.060
Rubio/gmnp.trs 0.045 0.037 0.073 0.032 0.335 0.033 0.034
Rubio/koen.trs 0.092 0.033 0.080 0.034 0.330 0.029 0.042
Rubio/logarquot.trs 0.055 0.039 0.212 0.037 5.297 0.034 0.057
Rubio/ma96.trs 0.119 0.132 8.745 0.255 60.030 0.081 0.091
Rubio/mfp95.trs 0.043 0.029 0.089 0.028 0.100 0.028 0.032
Rubio/nestrec.trs 0.028 0.032 0.056 0.029 0.127 0.027 0.032
Rubio/polo2.trs 0.040 0.132 0.583 0.067 0.269 0.304 0.118
Rubio/prov.trs 0.031 0.032 0.157 0.033 2.081 0.028 0.034
Rubio/quick.trs 0.053 0.086 0.921 0.087 61.270 1.205 0.096
Rubio/revlist.trs 0.086 0.046 0.308 0.060 14.225 0.034 0.051
Rubio/selsort.trs 0.117 0.132 2.118 0.080 60.017 0.070 0.140
Rubio/test4.trs 0.069 0.036 0.075 0.034 4.375 0.030 0.044
Rubio/test829.trs 0.042 0.039 0.199 0.031 0.036 0.028 0.047
Rubio/wst99.trs 0.070 0.092 1.146 0.054 8.949 0.045 0.134
SK90/2.09.trs 0.062 0.030 0.111 0.030 0.116 0.028 0.036
SK90/2.11.trs 0.065 0.039 0.156 0.038 0.215 0.187 0.034
SK90/2.12.trs 0.043 0.049 0.283 0.045 0.839 0.835 0.122
SK90/2.13.trs 0.049 0.046 0.185 0.040 0.152 0.139 0.041
SK90/2.15.trs 0.039 0.058 0.076 0.038 0.139 0.150 0.039
SK90/2.16.trs 0.036 0.061 0.193 0.036 2.306 0.034 0.046
SK90/2.17.trs 0.068 0.041 0.094 0.037 0.123 0.207 0.037
SK90/2.18.trs 0.043 0.037 0.097 0.036 0.262 0.260 0.035
SK90/2.19.trs 0.055 0.051 0.182 0.154 0.730 0.701 0.068
SK90/2.20.trs 0.058 0.043 0.108 0.036 0.110 0.119 0.061
SK90/2.21.trs 0.039 0.030 0.120 0.037 0.168 0.144 0.035
SK90/2.22.trs 0.046 0.097 0.236 0.047 0.504 0.442 0.039
SK90/2.23.trs 0.041 0.067 0.221 0.041 2.398 0.039 0.046
SK90/2.24.trs 0.031 0.030 0.052 0.034 0.134 0.132 0.037
SK90/2.25.trs 0.031 0.033 0.094 0.033 1.701 1.828 0.041
SK90/2.26.trs 0.064 0.069 0.227 0.062 14.689 16.080 0.077
SK90/2.27.trs 0.054 0.056 0.223 0.046 0.563 0.425 0.063
SK90/2.28.trs 0.028 0.027 0.084 0.028 0.350 0.026 0.030
SK90/2.29.trs 0.055 0.065 0.298 0.055 0.454 0.421 0.060
SK90/2.30.trs 0.075 0.047 0.190 0.038 0.044 0.071 0.050
SK90/2.31.trs 0.056 0.066 0.166 0.043 0.277 0.197 0.045
SK90/2.36.trs 0.034 0.033 0.348 0.031 0.141 0.030 0.039
SK90/2.37.trs 0.030 0.030 0.209 0.030 0.222 0.026 0.034
SK90/2.39.trs 0.037 0.063 0.208 0.037 0.490 0.366 0.055
SK90/2.40.trs 0.033 0.035 0.195 0.042 0.902 0.739 0.066
SK90/2.41.trs 0.047 0.050 0.384 0.067 0.333 0.258 0.047
SK90/2.43.trs 0.046 0.045 1.105 0.052 60.197 60.089 0.065
SK90/2.44.trs 0.055 0.060 0.547 0.044 1.126 0.058 0.081
SK90/2.45.trs 0.041 0.065 1.052 0.043 7.286 0.034 0.067
SK90/2.47.trs 0.043 0.031 0.050 0.030 0.074 0.122 0.030
SK90/2.48.trs 0.040 0.043 0.082 0.037 0.143 0.194 0.040
SK90/2.50.trs 0.030 0.033 0.048 0.030 0.048 0.076 0.030
SK90/2.51.trs 0.031 0.053 0.125 0.032 1.863 0.030 0.057
SK90/2.52.trs 0.066 0.069 1.191 0.065 61.934 1.228 0.084
SK90/2.53.trs 0.106 0.035 0.126 0.032 0.092 0.037 0.101
SK90/2.54.trs 0.035 0.028 0.075 0.036 0.158 0.027 0.031
SK90/2.55.trs 0.077 0.121 0.125 0.030 0.132 0.026 0.034
SK90/2.56.trs 0.047 0.033 0.110 0.034 0.141 0.050 0.033
SK90/2.58.trs 0.046 0.035 0.161 0.031 0.450 0.029 0.035
SK90/2.59.trs 0.056 0.031 0.098 0.051 0.202 0.027 0.031
SK90/4.05.trs 0.040 0.031 0.320 0.040 0.132 0.109 0.042
SK90/4.12.trs 0.066 0.030 0.111 0.030 1.861 0.029 0.037
SK90/4.13.trs 0.049 0.034 0.159 0.032 1.012 0.030 0.031
SK90/4.16.trs 0.034 0.044 0.121 0.042 0.304 0.181 0.050
SK90/4.17.trs 0.044 0.036 0.072 0.052 0.954 0.030 0.030
SK90/4.18.trs 0.060 0.032 0.466 0.034 0.210 0.030 0.039
SK90/4.24.trs 0.055 0.045 0.287 0.037 13.997 0.054 0.050
SK90/4.25.trs 0.049 0.032 0.084 0.035 0.105 0.103 0.035
SK90/4.27.trs 0.048 0.065 0.175 0.037 0.583 0.034 0.035
SK90/4.29.trs 0.043 0.049 0.365 0.041 0.335 0.143 0.051
SK90/4.30.trs 0.049 0.046 0.910 0.035 0.043 0.033 0.058
SK90/4.31.trs 0.046 0.035 0.314 0.048 0.315 0.032 0.051
SK90/4.34.trs 0.028 0.029 0.048 0.027 0.096 0.026 0.031
SK90/4.35.trs 0.026 0.028 0.067 0.028 0.069 0.027 0.026
SK90/4.38.trs 0.033 0.037 0.328 0.034 0.140 0.029 0.044
SK90/4.41.trs 0.030 0.029 0.048 0.029 0.196 0.029 0.032
SK90/4.42.trs 0.054 0.043 0.292 0.037 1.220 0.032 0.043
SK90/4.45.trs 0.033 0.030 0.072 0.031 0.076 0.083 0.028
SK90/4.46.trs 0.036 0.077 0.048 0.028 0.099 0.027 0.031
SK90/4.47.trs 0.058 0.085 0.225 0.043 2.648 0.034 0.042
SK90/4.50.trs 0.049 0.050 0.058 0.028 0.123 0.028 0.030
SK90/4.54.trs 0.052 0.038 0.177 0.030 0.163 0.029 0.036
SK90/4.55.trs 0.037 0.028 0.055 0.027 0.091 0.046 0.030
SK90/4.56.trs 0.039 0.033 0.056 0.030 0.442 0.028 0.073
SK90/4.57.trs 0.052 0.065 0.650 0.040 60.021 0.034 0.059
SK90/4.59.trs 0.042 0.038 0.630 0.043 0.638 0.035 0.067
SK90/4.60.trs 0.036 0.038 0.528 0.041 45.638 0.138 0.036
SK90/4.61.trs 0.051 0.076 0.756 0.049 61.307 1.016 0.062
SchneiderKamp/trs/cade01.trs 0.231 0.063 0.174 0.133 0.720 0.042 0.086
SchneiderKamp/trs/cade03.trs 0.055 0.046 0.209 0.039 3.167 0.034 0.051
SchneiderKamp/trs/cade04t.trs 0.060 0.041 0.159 0.038 0.507 0.035 0.060
SchneiderKamp/trs/cade05t.trs 0.055 0.075 0.242 0.044 60.027 0.068 0.054
SchneiderKamp/trs/cade06.trs 0.058 0.047 0.906 0.053 60.063 0.037 0.209
SchneiderKamp/trs/cade07.trs 0.055 0.069 0.684 0.059 4.764 0.033 0.064
SchneiderKamp/trs/cade08.trs 0.054 0.048 0.944 0.045 60.089 0.037 0.062
SchneiderKamp/trs/cade09.trs 0.051 0.044 0.218 0.039 6.910 0.035 0.053
SchneiderKamp/trs/cade10.trs 0.055 0.045 0.220 0.038 2.476 0.036 0.072
SchneiderKamp/trs/cade11.trs 0.045 0.036 0.172 0.033 2.424 0.032 0.044
SchneiderKamp/trs/cade12t.trs 0.089 0.046 0.324 0.042 60.747 0.635 0.090
SchneiderKamp/trs/cade13t.trs 0.191 0.077 0.627 0.102 6.039 0.054 0.071
SchneiderKamp/trs/cade14.trs 0.088 0.073 0.373 0.056 2.170 0.043 0.075
SchneiderKamp/trs/cade15.trs 0.076 0.105 0.611 0.114 10.881 0.086 0.114
SchneiderKamp/trs/cade16.trs 0.074 0.058 0.267 0.044 12.002 0.039 0.058
SchneiderKamp/trs/cade17.trs 0.064 0.070 0.377 0.053 60.078 0.046 0.075
SchneiderKamp/trs/kabasci04.trs 0.056 0.046 0.349 0.043 60.041 0.044 0.078
SchneiderKamp/trs/otto01.trs 0.076 0.081 2.204 0.068 60.786 0.570 0.154
SchneiderKamp/trs/otto02.trs 0.218 0.143 2.128 0.124 21.213 0.077 0.107
SchneiderKamp/trs/otto03.trs 0.058 0.052 0.213 0.064 0.789 0.035 0.057
SchneiderKamp/trs/otto04.trs 0.046 0.084 2.425 0.115 34.491 0.049 0.116
SchneiderKamp/trs/otto05.trs 0.060 0.065 0.267 0.071 2.542 0.044 0.090
SchneiderKamp/trs/otto06.trs 0.081 0.168 2.398 0.084 60.248 0.472 0.126
SchneiderKamp/trs/otto07.trs 0.055 0.045 0.202 0.038 0.803 0.033 0.046
SchneiderKamp/trs/otto08.trs 0.057 0.170 0.621 0.055 11.790 0.045 0.076
SchneiderKamp/trs/otto09.trs 0.085 0.072 0.679 0.051 6.475 0.040 0.070
SchneiderKamp/trs/otto10.trs 0.112 0.128 3.160 0.057 60.373 0.520 0.149
SchneiderKamp/trs/otto11.trs 0.278 0.108 0.722 0.048 6.310 0.054 0.083
SchneiderKamp/trs/otto12.trs 0.127 0.172 1.419 0.275 3.361 0.047 0.084
SchneiderKamp/trs/otto13.trs 0.084 0.073 1.731 0.084 61.420 2.753 0.241
SchneiderKamp/trs/thiemann01.trs 0.575 0.074 0.892 0.070 21.636 0.042 0.075
SchneiderKamp/trs/thiemann02.trs 0.339 0.271 1.869 0.107 61.697 1.317 0.237
SchneiderKamp/trs/thiemann03.trs 0.207 0.086 0.520 0.091 39.814 0.052 0.082
SchneiderKamp/trs/thiemann04.trs 0.167 0.256 62.480 2.206 12.801 0.399 0.413
SchneiderKamp/trs/thiemann05.trs 0.083 0.081 0.487 0.056 60.568 0.847 0.083
SchneiderKamp/trs/thiemann06.trs 0.147 0.137 3.993 0.083 60.040 0.166 0.130
SchneiderKamp/trs/thiemann07.trs 0.125 0.300 0.578 0.087 60.056 0.068 0.107
SchneiderKamp/trs/thiemann08.trs 0.075 0.066 0.338 0.044 1.035 0.041 0.086
SchneiderKamp/trs/thiemann10.trs 0.055 0.062 0.249 0.046 1.412 0.046 0.080
SchneiderKamp/trs/thiemann11.trs 0.060 0.092 1.228 0.182 60.042 0.052 0.085
SchneiderKamp/trs/thiemann12.trs 0.064 0.063 0.288 0.048 10.990 0.043 0.065
SchneiderKamp/trs/thiemann13.trs 0.062 0.116 0.558 0.061 60.037 0.062 0.092
SchneiderKamp/trs/thiemann14.trs 0.086 0.111 0.639 0.067 17.537 0.060 0.118
SchneiderKamp/trs/thiemann15.trs 0.058 0.062 0.249 0.044 0.865 0.043 0.062
SchneiderKamp/trs/thiemann16.trs 0.066 0.109 1.524 0.061 60.036 0.068 0.165
SchneiderKamp/trs/thiemann17.trs 0.074 0.072 1.337 0.053 60.013 0.046 0.080
SchneiderKamp/trs/thiemann18.trs 0.103 0.425 1.703 0.116 60.043 0.086 0.167
SchneiderKamp/trs/thiemann19.trs 0.067 0.055 0.175 0.044 13.027 0.038 0.117
SchneiderKamp/trs/thiemann20.trs 0.077 0.062 0.283 0.051 7.138 0.042 0.063
SchneiderKamp/trs/thiemann21.trs 0.095 0.149 1.240 0.088 12.913 0.110 0.074
SchneiderKamp/trs/thiemann22.trs 0.094 0.068 0.602 0.047 6.627 0.040 0.068
SchneiderKamp/trs/thiemann23.trs 0.055 0.074 0.282 0.044 33.648 0.035 0.056
SchneiderKamp/trs/thiemann24.trs 0.082 0.070 0.580 0.052 4.639 0.042 0.068
SchneiderKamp/trs/thiemann25.trs 0.062 0.074 1.257 0.047 2.751 0.040 0.073
SchneiderKamp/trs/thiemann26.trs 0.066 0.081 0.928 0.051 60.073 0.056 0.091
SchneiderKamp/trs/thiemann27.trs 0.047 0.048 0.196 0.040 0.723 0.034 0.051
SchneiderKamp/trs/thiemann28.trs 0.050 0.068 0.409 0.052 60.081 0.043 0.066
SchneiderKamp/trs/thiemann29.trs 0.086 0.108 1.825 0.062 17.264 0.051 0.097
SchneiderKamp/trs/thiemann30.trs 0.150 0.215 1.681 0.097 60.010 0.083 0.216
SchneiderKamp/trs/thiemann31.trs 0.076 0.106 2.246 0.062 60.026 0.043 0.101
SchneiderKamp/trs/thiemann32.trs 0.066 0.092 0.594 0.070 1.988 0.075 0.089
SchneiderKamp/trs/thiemann33.trs 0.070 0.060 0.277 0.071 3.716 0.064 0.065
SchneiderKamp/trs/thiemann34.trs 0.061 0.082 0.901 0.062 1.705 0.048 0.083
SchneiderKamp/trs/thiemann36.trs 0.078 0.152 11.789 0.072 60.049 0.044 0.127
SchneiderKamp/trs/thiemann37.trs 0.124 0.184 37.323 0.130 60.934 0.895 0.217
SchneiderKamp/trs/thiemann38.trs 0.213 0.130 1.361 0.052 23.527 0.062 0.090
SchneiderKamp/trs/thiemann40.trs 0.054 0.051 0.169 0.037 0.650 0.036 0.050
SchneiderKamp/trs/thiemann41.trs 0.059 0.073 0.620 0.072 1.190 0.042 0.078
Ste92/minsort.trs 0.084 0.071 0.634 0.059 60.567 0.626 0.067
Ste92/perfect.trs 0.203 0.054 1.978 0.061 1.641 0.159 0.077
Ste92/perfect2.trs 0.083 0.083 1.782 0.072 60.011 0.059 0.091
TRCSR/Ex14_AEGL02_FR.trs 0.091 0.059 0.219 0.049 2.607 0.043 0.070
TRCSR/Ex14_AEGL02_GM.trs 0.058 0.059 0.191 0.048 0.336 0.043 0.064
TRCSR/Ex14_AEGL02_L.trs 0.039 0.029 0.064 0.028 0.032 0.075 0.030
TRCSR/Ex14_AEGL02_Z.trs 0.050 0.053 0.153 0.045 0.394 0.039 0.061
TRCSR/Ex14_Luc06_GM.trs 0.079 0.060 0.225 0.045 0.452 0.041 0.065
TRCSR/Ex15_Luc06_FR.trs 0.044 0.039 0.348 0.036 0.219 0.036 0.033
TRCSR/Ex15_Luc06_GM.trs 0.065 0.036 0.104 0.031 0.163 0.031 0.030
TRCSR/Ex15_Luc06_L.trs 0.031 0.031 0.026 0.044 0.175 0.027 0.026
TRCSR/Ex15_Luc06_Z.trs 0.051 0.038 0.214 0.035 1.602 0.034 0.041
TRCSR/Ex15_Luc98_GM.trs 0.219 0.080 0.626 0.082 1.032 0.086 0.106
TRCSR/Ex16_Luc06_FR.trs 0.050 0.031 0.055 0.031 0.168 0.029 0.034
TRCSR/Ex16_Luc06_GM.trs 0.035 0.036 0.104 0.034 0.276 0.032 0.042
TRCSR/Ex16_Luc06_L.trs 0.041 0.026 0.035 0.026 0.046 0.026 0.028
TRCSR/Ex16_Luc06_Z.trs 0.031 0.031 0.057 0.030 0.166 0.030 0.033
TRCSR/Ex18_Luc06_GM.trs 0.030 0.034 0.089 0.031 0.243 0.030 0.031
TRCSR/Ex1_2_AEL03_GM.trs 0.084 0.223 1.711 0.114 18.665 0.100 0.289
TRCSR/Ex1_2_Luc02c_GM.trs 0.070 0.045 0.182 0.041 0.312 0.034 0.052
TRCSR/Ex1_GL02a_GM.trs 0.051 0.073 0.441 0.079 0.947 0.773 0.100
TRCSR/Ex1_GL02a_L.trs 0.031 0.051 0.031 0.031 0.038 0.030 0.032
TRCSR/Ex1_GM03_GM.trs 0.049 0.082 0.634 0.064 28.840 0.056 0.127
TRCSR/Ex1_GM99_FR.trs 0.040 0.037 0.075 0.036 0.165 0.033 0.037
TRCSR/Ex1_GM99_GM.trs 0.061 0.040 0.227 0.040 0.383 0.035 0.051
TRCSR/Ex1_GM99_L.trs 0.028 0.026 0.027 0.027 0.028 0.026 0.027
TRCSR/Ex1_GM99_Z.trs 0.061 0.036 0.074 0.035 0.166 0.032 0.039
TRCSR/Ex1_Luc02b_GM.trs 0.043 0.069 0.576 0.052 0.951 0.068 0.093
TRCSR/Ex1_Luc02b_Z.trs 0.043 0.051 0.307 0.042 0.479 0.039 0.062
TRCSR/Ex1_Luc04b_FR.trs 0.048 0.060 0.168 0.047 0.303 0.041 0.066
TRCSR/Ex1_Luc04b_GM.trs 0.063 0.085 0.359 0.064 0.551 0.056 0.112
TRCSR/Ex1_Luc04b_Z.trs 0.042 0.032 0.038 0.033 0.174 0.032 0.035
TRCSR/Ex1_Zan97_FR.trs 0.033 0.036 0.082 0.035 0.175 0.034 0.039
TRCSR/Ex1_Zan97_GM.trs 0.036 0.043 0.082 0.060 0.178 0.035 0.048
TRCSR/Ex1_Zan97_L.trs 0.028 0.028 0.034 0.028 0.029 0.027 0.029
TRCSR/Ex1_Zan97_Z.trs 0.032 0.058 0.060 0.035 0.175 0.034 0.039
TRCSR/Ex23_Luc06_GM.trs 0.067 0.050 0.117 0.042 0.268 0.250 0.043
TRCSR/Ex24_GM04_GM.trs 0.042 0.047 0.284 0.041 0.251 0.036 0.051
TRCSR/Ex24_Luc06_FR.trs 0.033 0.036 0.096 0.033 0.239 0.034 0.038
TRCSR/Ex24_Luc06_GM.trs 0.035 0.040 0.247 0.036 0.305 0.032 0.072
TRCSR/Ex24_Luc06_L.trs 0.027 0.026 0.037 0.026 0.035 0.028 0.028
TRCSR/Ex24_Luc06_Z.trs 0.034 0.036 0.078 0.036 0.259 0.032 0.038
TRCSR/Ex25_Luc06_GM.trs 0.055 0.064 0.194 0.055 0.472 0.494 0.080
TRCSR/Ex26_Luc03b_GM.trs 0.057 0.104 0.534 0.069 1.152 0.064 0.117
TRCSR/Ex26_Luc03b_L.trs 0.070 0.043 0.170 0.042 0.302 0.106 0.042
TRCSR/Ex2_Luc02a_GM.trs 0.062 0.126 0.621 0.096 7.278 0.090 0.123
TRCSR/Ex2_Luc02a_L.trs 0.041 0.048 0.170 0.042 0.787 0.493 0.057
TRCSR/Ex2_Luc02a_Z.trs 0.053 0.066 0.351 0.051 0.814 0.044 0.113
TRCSR/Ex2_Luc03b_GM.trs 0.047 0.077 0.449 0.061 0.923 0.071 0.100
TRCSR/Ex2_Luc03b_L.trs 0.055 0.041 0.080 0.038 0.264 0.123 0.038
TRCSR/Ex2_Luc03b_Z.trs 0.065 0.071 0.392 0.055 0.423 0.047 0.101
TRCSR/Ex3_12_Luc96a_GM.trs 0.045 0.051 0.340 0.043 0.610 0.039 0.066
TRCSR/Ex3_12_Luc96a_Z.trs 0.033 0.036 0.170 0.034 0.272 0.032 0.043
TRCSR/Ex3_2_Luc97_GM.trs 0.082 0.086 0.646 0.061 1.035 0.061 0.111
TRCSR/Ex3_3_25_Bor03_GM.trs 0.051 0.116 1.068 0.065 1.257 0.053 0.121
TRCSR/Ex3_3_25_Bor03_L.trs 0.043 0.065 0.120 0.044 0.269 0.244 0.042
TRCSR/Ex49_GM04_GM.trs 0.066 0.087 0.627 0.063 3.118 0.058 0.122
TRCSR/Ex4_4_Luc96b_GM.trs 0.051 0.037 0.145 0.032 0.383 0.032 0.041
TRCSR/Ex4_4_Luc96b_L.trs 0.032 0.029 0.038 0.028 0.048 0.075 0.049
TRCSR/Ex4_4_Luc96b_Z.trs 0.030 0.033 0.119 0.031 0.363 0.029 0.037
TRCSR/Ex4_7_15_Bor03_GM.trs 0.049 0.054 0.199 0.041 2.326 0.059 0.037
TRCSR/Ex4_7_15_Bor03_L.trs 0.038 0.030 0.054 0.031 44.065 0.028 0.029
TRCSR/Ex4_7_15_Bor03_Z.trs 0.040 0.036 0.086 0.032 60.017 0.033 0.034
TRCSR/Ex4_7_37_Bor03_GM.trs 0.063 0.098 1.336 0.074 17.771 0.069 0.156
TRCSR/Ex4_7_37_Bor03_Z.trs 0.066 0.067 0.623 0.056 1.021 0.047 0.091
TRCSR/Ex4_7_56_Bor03_GM.trs 0.120 0.052 0.293 0.043 0.547 0.039 0.085
TRCSR/Ex4_7_56_Bor03_Z.trs 0.043 0.036 0.152 0.033 0.255 0.031 0.043
TRCSR/Ex4_7_77_Bor03_FR.trs 0.052 0.037 0.070 0.035 0.080 0.093 0.036
TRCSR/Ex4_7_77_Bor03_GM.trs 0.058 0.040 0.113 0.037 0.207 0.033 0.046
TRCSR/Ex4_7_77_Bor03_Z.trs 0.057 0.039 0.088 0.036 0.082 0.093 0.037
TRCSR/Ex4_DLMMU04_GM.trs 0.084 0.205 1.722 0.125 60.835 1.584 0.285
TRCSR/Ex4_Zan97_FR.trs 0.112 0.048 0.226 0.040 0.477 0.048 0.063
TRCSR/Ex4_Zan97_GM.trs 0.079 0.080 0.424 0.126 0.753 0.045 0.103
TRCSR/Ex4_Zan97_Z.trs 0.056 0.043 0.178 0.038 0.369 0.034 0.050
TRCSR/Ex5_7_Luc97_GM.trs 0.121 0.170 1.081 0.304 1.997 0.139 0.496
TRCSR/Ex5_DLMMU04_GM.trs 0.096 0.141 1.481 0.097 1.359 0.089 0.192
TRCSR/Ex5_Zan97_GM.trs 0.058 0.068 0.279 0.040 1.023 0.036 0.059
TRCSR/Ex5_Zan97_Z.trs 0.043 0.037 0.144 0.033 0.500 0.032 0.037
TRCSR/Ex6_15_AEL02_GM.trs 0.084 0.192 1.805 0.156 9.751 0.178 0.271
TRCSR/Ex6_9_Luc02c_FR.trs 0.059 0.043 0.145 0.036 0.424 0.036 0.050
TRCSR/Ex6_9_Luc02c_GM.trs 0.046 0.079 0.298 0.046 0.541 0.040 0.067
TRCSR/Ex6_9_Luc02c_Z.trs 0.065 0.036 0.123 0.033 0.266 0.053 0.045
TRCSR/Ex6_GM04_FR.trs 0.038 0.037 0.067 0.034 0.227 0.033 0.060
TRCSR/Ex6_GM04_GM.trs 0.061 0.043 0.102 0.038 0.220 0.184 0.038
TRCSR/Ex6_GM04_L.trs 0.040 0.029 0.033 0.029 0.028 0.057 0.028
TRCSR/Ex6_GM04_Z.trs 0.033 0.037 0.086 0.036 0.226 0.031 0.040
TRCSR/Ex6_Luc98_GM.trs 0.038 0.058 0.309 0.044 0.516 0.041 0.071
TRCSR/Ex6_Luc98_L.trs 0.047 0.033 0.083 0.031 0.143 0.155 0.033
TRCSR/Ex6_Luc98_Z.trs 0.039 0.081 0.209 0.038 0.209 0.034 0.085
TRCSR/Ex7_BLR02_GM.trs 0.050 0.086 0.662 0.067 1.278 0.062 0.108
TRCSR/Ex7_BLR02_Z.trs 0.051 0.058 0.352 0.047 0.566 0.042 0.070
TRCSR/Ex8_BLR02_FR.trs 0.060 0.057 0.376 0.046 9.795 0.040 0.072
TRCSR/Ex8_BLR02_GM.trs 0.064 0.080 0.712 0.062 12.114 0.054 0.104
TRCSR/Ex8_BLR02_Z.trs 0.065 0.049 0.293 0.044 10.112 0.038 0.062
TRCSR/Ex9_BLR02_GM.trs 0.063 0.101 1.097 0.086 3.695 0.075 0.123
TRCSR/Ex9_BLR02_L.trs 0.087 0.046 0.167 0.042 60.056 3.093 0.041
TRCSR/Ex9_BLR02_Z.trs 0.073 0.085 0.824 0.058 3.073 0.048 0.115
TRCSR/Ex9_Luc04_FR.trs 0.038 0.033 0.067 0.052 0.144 0.030 0.035
TRCSR/Ex9_Luc04_GM.trs 0.051 0.041 0.272 0.060 0.641 0.036 0.053
TRCSR/Ex9_Luc04_L.trs 0.039 0.029 0.045 0.029 0.052 0.045 0.032
TRCSR/Ex9_Luc04_Z.trs 0.033 0.034 0.067 0.033 0.144 0.030 0.043
TRCSR/Ex9_Luc06_FR.trs 0.034 0.057 0.082 0.034 0.603 0.033 0.042
TRCSR/Ex9_Luc06_GM.trs 0.036 0.041 0.256 0.037 0.288 0.033 0.051
TRCSR/Ex9_Luc06_L.trs 0.035 0.043 0.036 0.028 0.036 0.027 0.029
TRCSR/Ex9_Luc06_Z.trs 0.036 0.036 0.082 0.033 0.605 0.033 0.063
TRCSR/ExAppendixB_AEL03_GM.trs 0.079 0.212 2.546 0.130 19.169 0.114 0.240
TRCSR/ExAppendixB_AEL03_Z.trs 0.076 0.105 1.505 0.073 2.000 0.056 0.119
TRCSR/ExConc_Zan97_FR.trs 0.044 0.043 0.123 0.039 0.179 0.222 0.042
TRCSR/ExConc_Zan97_GM.trs 0.060 0.042 0.096 0.038 0.155 0.201 0.059
TRCSR/ExConc_Zan97_L.trs 0.034 0.028 0.033 0.028 0.028 0.053 0.028
TRCSR/ExConc_Zan97_Z.trs 0.032 0.028 0.030 0.028 0.054 0.028 0.030
TRCSR/ExIntrod_GM01_FR.trs 0.071 0.068 0.224 0.052 0.621 0.046 0.092
TRCSR/ExIntrod_GM01_GM.trs 0.070 0.100 0.412 0.070 0.924 0.082 0.099
TRCSR/ExIntrod_GM01_Z.trs 0.051 0.066 0.208 0.073 0.537 0.045 0.070
TRCSR/ExIntrod_GM04_FR.trs 0.056 0.077 0.284 0.059 0.710 0.052 0.082
TRCSR/ExIntrod_GM04_GM.trs 0.060 0.105 0.312 0.063 0.759 0.056 0.086
TRCSR/ExIntrod_GM04_Z.trs 0.056 0.074 0.272 0.059 0.623 0.052 0.077
TRCSR/ExIntrod_GM99_GM.trs 0.069 0.183 1.379 0.115 7.879 0.104 0.167
TRCSR/ExIntrod_Zan97_GM.trs 0.054 0.105 0.811 0.081 24.868 0.072 0.126
TRCSR/ExProp7_Luc06_GM.trs 0.055 0.051 0.183 0.043 2.106 0.057 0.037
TRCSR/ExProp7_Luc06_L.trs 0.030 0.031 0.056 0.030 43.124 0.049 0.029
TRCSR/ExProp7_Luc06_Z.trs 0.045 0.036 0.085 0.033 60.057 0.031 0.031
TRCSR/ExSec11_1_Luc02a_GM.trs 0.089 0.117 0.833 0.092 7.675 0.085 0.151
TRCSR/ExSec4_2_DLMMU04_GM.trs 0.094 0.172 2.420 0.141 61.366 2.533 0.309
TRCSR/ExSec4_2_DLMMU04_Z.trs 0.239 0.102 0.929 0.103 6.898 0.086 0.115
TRCSR/LISTUTILITIES_complete_GM.trs 1.606 1.400 18.663 0.773 61.010 4.998 1.654
TRCSR/LISTUTILITIES_complete_noand_GM.trs 0.844 3.366 60.062 2.276 60.063 7.262 4.843
TRCSR/LISTUTILITIES_nokinds_GM.trs 0.166 0.544 6.458 0.316 60.050 0.456 0.676
TRCSR/LISTUTILITIES_nokinds_noand_GM.trs 0.246 0.917 13.724 0.564 60.511 3.696 1.211
TRCSR/LISTUTILITIES_nosorts-noand_Z.trs 0.194 0.326 1.654 0.207 60.355 0.663 0.298
TRCSR/LISTUTILITIES_nosorts_GM.trs 0.556 0.253 2.662 0.224 60.379 0.706 0.550
TRCSR/LISTUTILITIES_nosorts_Z.trs 0.152 0.103 0.592 0.086 16.656 0.078 0.146
TRCSR/LISTUTILITIES_nosorts_noand_GM.trs 1.073 0.744 6.818 0.387 60.889 1.656 0.911
TRCSR/LengthOfFiniteLists_complete_GM.trs 0.797 0.619 2.851 0.374 61.851 1.217 1.250
TRCSR/LengthOfFiniteLists_complete_noand_GM.trs 1.000 1.054 6.380 0.503 8.289 0.702 0.728
TRCSR/LengthOfFiniteLists_nokinds_GM.trs 0.101 0.143 0.613 0.086 10.933 0.106 0.171
TRCSR/LengthOfFiniteLists_nokinds_noand_GM.trs 0.144 0.218 1.091 0.143 2.350 0.177 0.263
TRCSR/LengthOfFiniteLists_nosorts-noand_FR.trs 0.056 0.054 0.151 0.043 0.440 0.057 0.059
TRCSR/LengthOfFiniteLists_nosorts-noand_Z.trs 0.041 0.051 0.130 0.042 0.453 0.037 0.058
TRCSR/LengthOfFiniteLists_nosorts_FR.trs 0.035 0.040 0.093 0.033 0.194 0.034 0.046
TRCSR/LengthOfFiniteLists_nosorts_GM.trs 0.052 0.058 0.261 0.045 0.460 0.044 0.072
TRCSR/LengthOfFiniteLists_nosorts_Z.trs 0.048 0.038 0.092 0.039 0.192 0.034 0.046
TRCSR/LengthOfFiniteLists_nosorts_noand_GM.trs 0.057 0.071 0.356 0.055 0.630 0.049 0.085
TRCSR/MYNAT_complete_GM.trs 0.126 0.359 3.149 0.204 61.237 1.415 1.175
TRCSR/MYNAT_complete_noand_GM.trs 1.122 1.023 11.535 0.468 29.966 0.687 0.816
TRCSR/MYNAT_nokinds_GM.trs 0.097 0.164 1.323 0.120 39.965 0.308 0.327
TRCSR/MYNAT_nokinds_noand_GM.trs 0.154 0.226 2.096 0.146 20.480 0.157 0.242
TRCSR/MYNAT_nosorts-noand_FR.trs 0.080 0.084 0.350 0.057 60.028 0.042 0.063
TRCSR/MYNAT_nosorts-noand_Z.trs 0.081 0.083 0.350 0.078 60.070 0.042 0.064
TRCSR/MYNAT_nosorts_FR.trs 0.049 0.043 0.158 0.066 0.406 0.388 0.040
TRCSR/MYNAT_nosorts_GM.trs 0.053 0.062 0.425 0.052 16.070 0.046 0.077
TRCSR/MYNAT_nosorts_Z.trs 0.064 0.044 0.177 0.043 0.428 0.381 0.038
TRCSR/MYNAT_nosorts_noand_GM.trs 0.070 0.118 1.176 0.079 16.671 0.069 0.124
TRCSR/OvConsOS_complete_GM.trs 0.203 0.507 4.625 0.310 61.118 3.611 1.161
TRCSR/OvConsOS_complete_noand_GM.trs 0.740 1.095 60.033 0.634 14.736 1.354 1.219
TRCSR/OvConsOS_nokinds_GM.trs 0.100 0.214 1.925 0.124 54.703 0.464 0.479
TRCSR/OvConsOS_nokinds_noand_GM.trs 0.544 0.663 7.478 0.401 4.655 0.329 0.482
TRCSR/OvConsOS_nosorts-noand_FR.trs 0.073 0.118 1.115 0.100 4.931 0.074 0.130
TRCSR/OvConsOS_nosorts-noand_Z.trs 0.102 0.142 1.060 0.082 4.721 0.076 0.112
TRCSR/OvConsOS_nosorts_FR.trs 0.056 0.058 0.283 0.042 0.505 0.040 0.072
TRCSR/OvConsOS_nosorts_GM.trs 0.047 0.074 0.445 0.055 0.821 0.052 0.097
TRCSR/OvConsOS_nosorts_Z.trs 0.058 0.066 0.300 0.043 0.332 0.040 0.073
TRCSR/OvConsOS_nosorts_noand_GM.trs 0.090 0.152 3.388 0.106 1.793 0.088 0.183
TRCSR/PALINDROME_complete_GM.trs 0.182 0.389 2.714 0.275 61.297 2.161 1.535
TRCSR/PALINDROME_complete_noand_GM.trs 0.691 0.757 24.428 0.486 26.336 1.027 0.848
TRCSR/PALINDROME_nokinds_GM.trs 0.111 0.133 0.727 0.091 15.392 0.123 0.177
TRCSR/PALINDROME_nokinds_noand_GM.trs 0.110 0.244 1.427 0.169 17.807 0.247 0.305
TRCSR/PALINDROME_nosorts_GM.trs 0.057 0.054 0.446 0.047 15.440 0.045 0.070
TRCSR/PALINDROME_nosorts_noand_GM.trs 0.062 0.061 0.422 0.054 16.358 0.070 0.100
TRCSR/PEANO_complete_GM.trs 0.139 0.213 2.048 0.124 60.501 0.847 0.506
TRCSR/PEANO_complete_noand_GM.trs 0.702 1.368 3.583 0.315 5.610 0.715 0.512
TRCSR/PEANO_nokinds_GM.trs 0.076 0.119 0.692 0.082 12.163 0.071 0.118
TRCSR/PEANO_nokinds_noand_GM.trs 0.087 0.127 1.084 0.113 1.998 0.093 0.175
TRCSR/PEANO_nosorts-noand_FR.trs 0.037 0.052 0.190 0.039 4.124 0.034 0.047
TRCSR/PEANO_nosorts-noand_Z.trs 0.037 0.071 0.189 0.040 4.116 0.034 0.047
TRCSR/PEANO_nosorts_FR.trs 0.038 0.036 0.095 0.036 0.113 0.109 0.034
TRCSR/PEANO_nosorts_GM.trs 0.037 0.048 0.231 0.042 0.587 0.058 0.060
TRCSR/PEANO_nosorts_Z.trs 0.035 0.037 0.095 0.035 0.106 0.086 0.037
TRCSR/PEANO_nosorts_noand_GM.trs 0.072 0.073 0.626 0.054 0.897 0.045 0.090
Thiemann/div_notCeTermin.trs 0.111 0.090 0.610 0.071 18.495 0.057 0.086
Thiemann/factorial1.trs 0.050 0.047 0.257 0.042 60.041 0.042 0.047
Thiemann/factorial2.trs 0.067 0.072 0.423 0.056 60.072 0.048 0.069
Thiemann/identity.trs 0.058 0.053 0.238 0.044 7.504 0.039 0.040
Thiemann/logarithm.trs 0.058 0.075 0.506 0.062 60.064 0.051 0.080
Thiemann/modulo.trs 0.060 0.065 0.650 0.073 16.469 0.044 0.064
Thiemann/nonterm.trs 0.045 0.038 0.340 0.054 6.969 0.032 0.032
Thiemann/quicksort.trs 0.086 0.117 1.013 0.101 60.012 0.089 0.115
Thiemann/quot.trs 0.055 0.062 0.409 0.051 60.075 0.042 0.063
Thiemann/sizeChange.trs 0.074 0.058 29.026 0.068 2.073 0.057 0.094
Thiemann/tower.trs 0.050 0.059 0.470 0.054 61.177 1.587 0.121
Thiemann/tower_sizeChange.trs 0.184 0.058 0.355 0.048 1.355 0.085 0.072
Waldmann/jwmatchb1.trs 0.074 0.032 0.101 0.049 0.107 0.027 0.063
Waldmann/jwmatchb2.trs 0.043 0.033 0.101 0.027 0.133 0.032 0.037
Waldmann/jwno1.trs 0.052 0.030 0.137 0.029 60.046 0.027 0.039
Waldmann/jwno4.trs 0.048 0.066 0.109 0.028 3.809 0.027 0.035
Waldmann/jwno6.trs 0.029 0.031 0.109 0.028 12.530 0.028 0.045
Zantema/z12.trs 0.072 0.038 0.495 0.053 0.679 0.033 0.074
Zantema/z13.trs 0.057 0.037 0.250 0.034 0.449 0.031 0.046
Zantema/z14.trs 0.032 0.033 0.215 0.041 0.383 0.071 0.043
Zantema/z15.trs 0.043 0.045 0.202 0.035 0.359 0.029 0.066
Zantema/z16.trs 0.039 0.036 0.240 0.031 0.439 0.030 0.041
Zantema/z17.trs 0.047 0.034 0.151 0.033 0.650 0.031 0.043
Zantema/z18.trs 0.040 0.034 0.208 0.032 0.410 0.030 0.042
Zantema/z23.trs 0.045 0.058 0.347 0.034 0.933 0.032 0.050
Zantema/z24.trs 0.053 0.043 0.490 0.077 0.819 0.034 0.059
Zantema/z27.trs 0.046 0.042 0.891 0.040 0.295 0.031 0.040
Zantema06/gcd.trs 0.066 0.043 0.309 0.290 60.122 0.041 0.049
Zantema06/gcdMinMax.trs 0.060 0.043 0.321 0.043 60.021 0.043 0.039
Zantema06/test1.trs 0.065 0.030 0.107 0.029 0.129 0.095 0.033
Zantema06/while.trs 0.042 0.053 0.153 0.034 0.884 0.029 0.094
nontermin/AG01/#4.12a.trs 0.055 0.034 0.071 0.031 0.137 0.051 0.032
nontermin/AG01/#4.19.trs 0.088 0.036 0.356 0.035 1.961 0.031 0.050
nontermin/AG01/#4.22.trs 0.075 0.059 0.259 0.035 0.464 0.031 0.034
nontermin/AG01/#4.23.trs 0.040 0.039 0.393 0.038 13.616 0.034 0.032
nontermin/AG01/#4.25.trs 0.037 0.029 0.072 0.092 0.089 0.028 0.050
nontermin/AG01/#4.26.trs 0.039 0.050 0.177 0.041 0.759 0.057 0.049
nontermin/AG01/#4.27.trs 0.044 0.049 0.201 0.042 61.350 1.253 0.036
nontermin/AG01/#4.28.trs 0.039 0.034 0.070 0.033 1.161 0.031 0.150
nontermin/AG01/#4.29.trs 0.071 0.070 0.308 0.067 60.011 0.060 0.086
nontermin/AG01/#4.30.trs 0.186 0.056 0.268 0.043 6.543 0.036 0.051
nontermin/AG01/#4.30a.trs 0.039 0.199 0.220 0.038 6.943 0.034 0.035
nontermin/AG01/#4.30b.trs 0.049 0.056 0.249 0.046 4.286 0.041 0.051
nontermin/AG01/#4.30c.trs 0.047 0.060 0.297 0.183 3.686 0.041 0.057
nontermin/AG01/#4.31.trs 0.066 0.037 0.082 0.033 0.260 0.030 0.064
nontermin/AG01/#4.32.trs 0.035 0.031 0.171 0.030 0.551 0.059 0.041
nontermin/AG01/#4.33.trs 0.048 0.042 1.677 0.035 21.464 0.035 0.141
nontermin/AG01/#4.34.trs 0.057 0.043 0.194 0.035 6.101 0.033 0.035
nontermin/AG01/#4.35.trs 0.142 0.067 3.550 0.117 60.047 0.108 0.247
nontermin/AG01/#4.36.trs 0.105 0.122 2.223 0.067 60.064 0.061 0.147
nontermin/AG01/#4.37.trs 0.058 0.037 0.246 0.030 0.031 0.030 0.046
nontermin/CSR/Ex14_AEGL02.trs 0.087 0.033 0.097 0.031 0.106 0.030 0.030
nontermin/CSR/Ex15_Luc98.trs 0.046 0.069 0.267 0.037 0.344 0.058 0.035
nontermin/CSR/Ex1_2_AEL03.trs 0.063 0.071 0.785 0.057 1.329 0.044 0.042
nontermin/CSR/Ex1_2_Luc02c.trs 0.036 0.029 0.068 0.039 0.118 0.027 0.028
nontermin/CSR/Ex1_GL02a.trs 0.051 0.045 0.264 0.061 0.365 0.035 0.036
nontermin/CSR/Ex1_GM03.trs 0.060 0.043 0.189 0.039 60.028 0.035 0.033
nontermin/CSR/Ex1_GM99.trs 0.040 0.029 0.060 0.030 0.124 0.027 0.158
nontermin/CSR/Ex1_Luc02b.trs 0.051 0.037 0.231 0.036 0.344 0.032 0.034
nontermin/CSR/Ex1_Zan97.trs 0.031 0.031 0.042 0.030 0.066 0.050 0.031
nontermin/CSR/Ex26_Luc03b.trs 0.051 0.069 0.299 0.044 0.556 0.039 0.037
nontermin/CSR/Ex2_Luc03b.trs 0.047 0.043 0.280 0.036 0.284 0.035 0.034
nontermin/CSR/Ex3_12_Luc96a.trs 0.032 0.032 0.122 0.053 0.208 0.030 0.029
nontermin/CSR/Ex3_2_Luc97.trs 0.052 0.048 0.338 0.044 0.398 0.037 0.039
nontermin/CSR/Ex3_3_25_Bor03.trs 0.037 0.045 0.170 0.038 0.435 0.045 0.037
nontermin/CSR/Ex49_GM04.trs 0.066 0.048 0.252 0.046 60.648 0.978 0.104
nontermin/CSR/Ex4_4_Luc96b.trs 0.132 0.029 0.050 0.028 1.727 0.027 0.028
nontermin/CSR/Ex4_7_15_Bor03.trs 0.057 0.033 0.071 0.030 2.558 0.031 0.051
nontermin/CSR/Ex4_7_37_Bor03.trs 0.091 0.112 0.546 0.047 0.920 0.042 0.063
nontermin/CSR/Ex4_7_56_Bor03.trs 0.243 0.030 0.146 0.031 0.165 0.030 0.030
nontermin/CSR/Ex4_7_77_Bor03.trs 0.045 0.030 0.029 0.263 0.056 0.027 0.032
nontermin/CSR/Ex4_Zan97.trs 0.132 0.039 0.181 0.036 0.548 0.034 0.034
nontermin/CSR/Ex5_Zan97.trs 0.070 0.031 0.095 0.043 12.135 0.108 0.032
nontermin/CSR/Ex6_9_Luc02c.trs 0.049 0.031 0.099 0.052 0.144 0.030 0.117
nontermin/CSR/Ex6_GM04.trs 0.038 0.028 0.027 0.027 0.162 0.027 0.027
nontermin/CSR/Ex6_Luc98.trs 0.187 0.032 0.149 0.031 0.182 0.029 0.031
nontermin/CSR/Ex7_BLR02.trs 0.038 0.244 0.274 0.037 0.412 0.034 0.035
nontermin/CSR/Ex8_BLR02.trs 0.055 0.040 0.255 0.038 9.554 0.033 0.044
nontermin/CSR/Ex9_BLR02.trs 0.048 0.054 0.863 0.092 3.377 0.037 0.039
nontermin/CSR/ExAppendixB_AEL03.trs 0.057 0.113 1.454 0.103 1.469 0.069 0.048
nontermin/CSR/ExConc_Zan97.trs 0.038 0.027 0.028 0.027 0.028 0.048 0.031
nontermin/CSR/ExIntrod_GM01.trs 0.042 0.035 0.051 0.034 0.364 0.033 0.092
nontermin/CSR/ExIntrod_GM04.trs 0.039 0.031 0.057 0.032 0.297 0.031 0.033
nontermin/CSR/ExIntrod_GM99.trs 0.058 0.078 0.458 0.067 60.079 0.335 0.039
nontermin/CSR/ExIntrod_Zan97.trs 0.051 0.112 0.197 0.044 15.811 0.041 0.035
nontermin/Rubio-inn/muladd.trs 0.065 0.032 0.161 0.035 7.573 0.030 0.030
nontermin/Rubio-inn/test75.trs 0.031 0.030 0.070 0.031 1.044 0.030 0.033
nontermin/Rubio-inn/test76.trs 0.040 0.034 0.108 0.054 1.316 0.031 0.038
nontermin/Rubio-inn/test77.trs 0.039 0.037 0.138 0.034 0.490 0.111 0.038
nontermin/Rubio-inn/test830.trs 0.043 0.031 0.169 0.031 1.378 0.032 0.116
nontermin/Rubio-inn/test9.trs 0.049 0.035 0.063 0.029 0.232 0.028 0.033
nontermin/Rubio-inn/toyama.trs 0.040 0.029 0.062 0.031 0.144 0.037 0.031
secret05/aprove2.trs 0.107 0.102 0.383 0.054 60.032 0.041 0.087
secret05/aprove3.trs 0.065 0.063 1.579 0.054 60.012 0.043 0.101
secret05/cime3.trs 0.068 0.134 0.692 0.089 3.261 0.089 0.158
secret05/cime4.trs 0.054 0.164 0.117 0.038 0.786 0.032 0.068
secret05/cime5.trs 0.347 0.456 60.027 0.314 60.059 0.323 0.552
secret05/tpa1.trs 0.062 0.040 0.311 0.041 60.021 0.040 0.037
secret05/tpa2.trs 0.044 0.034 0.269 0.035 60.020 0.034 0.034
secret05/tpa3.trs 0.044 0.040 0.254 0.039 61.727 2.210 0.036
secret05/tpa4.trs 0.339 0.135 0.396 0.121 60.823 0.571 0.038
secret05/tpa5.trs 0.212 0.056 0.361 0.113 61.136 0.621 0.146
secret05/ttt2.trs 0.103 0.126 0.058 0.031 60.015 0.038 0.028
secret06/aprove/addList.trs 0.183 0.185 60.036 0.111 3.007 0.202 0.168
secret06/aprove/divExp.trs 0.060 0.043 0.397 0.039 61.740 0.829 0.395
secret06/aprove/division.trs 0.082 0.158 0.632 0.048 4.110 0.048 0.066
secret06/aprove/double.trs 0.154 0.072 0.620 0.062 4.111 0.082 0.116
secret06/aprove/logarithm.trs 0.088 0.103 0.372 0.056 60.056 0.048 0.097
secret06/aprove/nrOfNodes.trs 0.068 0.080 2.024 0.051 60.013 0.046 0.073
secret06/aprove/reverse.trs 0.062 0.067 0.548 0.139 58.743 0.045 0.068
secret06/aprove/sumList.trs 0.092 0.086 2.025 0.136 60.021 0.052 0.084
secret06/aprove/times.trs 0.081 0.108 1.207 0.184 60.071 0.059 0.101
secret06/aprove/toList.trs 0.071 0.088 2.212 0.135 3.219 0.050 0.083
secret06/tpa04.trs 0.046 0.046 0.358 0.045 60.708 0.541 0.072
secret06/tpa05.trs 0.170 0.052 0.318 0.043 60.838 0.906 0.037
secret06/tpa06.trs 0.104 0.075 0.770 0.045 60.682 0.711 0.278
secret06/tpa07.trs 0.077 0.041 0.297 0.041 61.341 1.257 0.034
secret06/tpa08.trs 0.483 0.058 0.257 0.039 61.442 0.705 0.036
secret06/tpa09.trs 0.127 0.176 0.472 0.050 60.863 0.634 0.048
secret06/tpa10.trs 0.137 0.110 0.492 0.072 60.870 1.325 0.043
secret07/aprove/aprove01.trs 0.390 0.187 1.024 0.255 9.709 0.078 0.153
secret07/aprove/aprove02.trs 0.119 0.470 1.619 0.088 3.134 0.082 0.247
secret07/aprove/aprove03.trs 0.146 0.261 1.524 0.487 60.872 1.264 0.338
secret07/aprove/aprove04.trs 0.473 0.207 2.740 0.601 60.022 0.084 0.171
secret07/aprove/aprove05.trs 0.090 0.118 1.465 0.068 7.549 0.060 0.112
secret07/aprove/aprove06.trs 0.112 0.147 0.828 0.075 9.854 0.082 0.266
secret07/aprove/aprove07.trs 0.104 0.098 0.690 0.063 27.208 0.083 0.119
secret07/aprove/aprove08.trs 0.101 0.187 27.706 0.081 60.017 0.076 0.191
secret07/aprove/aprove09.trs 0.097 0.166 3.897 0.071 60.012 0.075 0.152
secret07/aprove/aprove10.trs 0.058 0.098 1.128 0.062 36.844 0.051 0.111
secret07/cime/secret3.trs 0.064 0.051 0.802 0.046 8.507 0.040 0.072
various/06.trs 0.081 0.085 0.694 0.045 0.084 0.119 0.053
various/07.trs 0.058 0.034 0.192 0.034 0.034 0.064 0.031
various/09.trs 0.077 0.130 2.448 0.057 1.033 0.185 0.080
various/11.trs 0.036 0.032 0.084 0.030 0.638 0.030 0.035
various/15.trs 0.031 0.051 0.056 0.029 1.099 0.029 0.030
various/22.trs 0.033 0.032 0.119 0.032 0.741 0.031 0.035
various/23.trs 0.037 0.037 0.204 0.036 0.405 0.031 0.047
various/24.trs 0.038 0.066 0.558 0.035 1.820 0.033 0.035
various/25.trs 0.030 0.032 0.057 0.052 0.287 0.031 0.036
various/27.trs 0.029 0.030 0.088 0.031 0.245 0.027 0.031

TCT on testbed FP

Popstar POP* + QP POP* + SL LMPO SMC PPO AND QI MPO + QP
countaverage time countaverage time countaverage time countaverage time countaverage time countaverage time countaverage time
Yes 70.044 80.042 140.163 130.039 150.815 130.241 170.047
Maybe 640.046 630.051 570.574 580.043 493.415 580.113 540.052
No 00.000 00.000 00.000 00.000 00.000 00.000 00.000
TIMEOUT (60.0 sec.) 00.000 00.000 00.000 00.000 760.250 00.000 00.000

Popstar POP* + QP POP* + SL LMPO SMC PPO AND QI MPO + QP
AG01/#3.1.trs 0.033 0.032 0.135 0.032 0.529 0.030 0.036
AG01/#3.10.trs 0.085 0.148 1.226 0.084 60.061 0.070 0.139
AG01/#3.12.trs 0.036 0.041 0.275 0.035 0.471 0.034 0.053
AG01/#3.13.trs 0.084 0.146 13.260 0.081 60.025 0.053 0.131
AG01/#3.14.trs 0.034 0.036 0.520 0.035 0.871 0.031 0.056
AG01/#3.2.trs 0.032 0.036 0.161 0.032 0.720 0.031 0.039
AG01/#3.23.trs 0.028 0.029 0.089 0.050 0.266 0.028 0.028
AG01/#3.24.trs 0.029 0.031 0.048 0.029 0.902 0.028 0.032
AG01/#3.31.trs 0.026 0.028 0.061 0.048 0.343 0.029 0.027
AG01/#3.33.trs 0.037 0.084 0.106 0.039 0.908 0.053 0.046
AG01/#3.35.trs 0.031 0.038 0.057 0.036 0.125 0.113 0.034
AG01/#3.36.trs 0.057 0.039 0.114 0.038 8.460 0.033 0.038
AG01/#3.37.trs 0.034 0.038 0.082 0.034 60.017 0.032 0.031
AG01/#3.38.trs 0.039 0.043 0.283 0.037 0.667 0.033 0.048
AG01/#3.41.trs 0.029 0.031 0.058 0.029 1.093 0.047 0.028
AG01/#3.42.trs 0.036 0.041 0.099 0.036 1.380 0.035 0.034
AG01/#3.5.trs 0.044 0.056 0.235 0.066 7.368 0.061 0.051
AG01/#3.53.trs 0.056 0.064 1.037 0.055 1.832 0.050 0.124
AG01/#3.55.trs 0.058 0.093 1.445 0.070 60.447 0.728 0.119
AG01/#3.5a.trs 0.068 0.060 0.268 0.048 7.191 0.041 0.057
AG01/#3.5b.trs 0.061 0.093 0.357 0.055 14.257 0.045 0.069
AG01/#3.6.trs 0.057 0.064 0.332 0.050 5.794 0.043 0.060
AG01/#3.6a.trs 0.046 0.063 0.326 0.047 5.203 0.041 0.056
AG01/#3.6b.trs 0.054 0.077 0.411 0.057 14.402 0.046 0.073
AG01/#3.7.trs 0.043 0.033 0.086 0.054 0.282 0.032 0.039
AG01/#3.8a.trs 0.037 0.041 0.242 0.037 5.603 0.035 0.079
AG01/#3.8b.trs 0.049 0.063 0.383 0.049 8.219 0.044 0.081
AG01/#4.30c.trs 0.066 0.062 0.300 0.048 4.147 0.043 0.062
D33/08.trs 0.086 0.054 0.226 0.044 0.147 0.159 0.053
D33/11.trs 0.053 0.111 0.606 0.065 0.307 0.304 0.116
D33/18.trs 0.049 0.027 0.156 0.030 0.053 0.104 0.034
D33/21.trs 0.036 0.039 0.146 0.037 60.202 0.952 0.034
D33/27.trs 0.108 0.030 0.067 0.030 0.063 0.027 0.033
D33/32.trs 0.071 0.057 2.510 0.065 1.502 0.045 0.081
SK90/2.12.trs 0.062 0.047 0.264 0.043 0.888 0.816 0.070
SK90/2.17.trs 0.041 0.042 0.092 0.036 0.122 0.107 0.039
SK90/2.18.trs 0.057 0.038 0.115 0.035 0.257 0.261 0.034
SK90/2.21.trs 0.031 0.029 0.114 0.037 0.191 0.123 0.032
SK90/2.24.trs 0.045 0.030 0.051 0.033 0.153 0.107 0.035
SK90/2.25.trs 0.037 0.033 0.094 0.033 1.709 1.880 0.039
SK90/2.28.trs 0.043 0.028 0.085 0.027 0.348 0.027 0.029
SK90/2.29.trs 0.055 0.063 0.277 0.052 0.475 0.424 0.062
SK90/2.30.trs 0.043 0.047 0.214 0.039 0.066 0.072 0.049
SK90/2.37.trs 0.036 0.029 0.189 0.029 0.245 0.027 0.032
SK90/2.39.trs 0.038 0.040 0.206 0.038 0.491 0.366 0.055
SK90/2.41.trs 0.046 0.050 0.369 0.046 0.353 0.237 0.046
SK90/2.44.trs 0.040 0.080 0.551 0.043 1.122 0.038 0.082
SK90/2.45.trs 0.041 0.063 1.069 0.042 7.283 0.031 0.067
SK90/2.47.trs 0.038 0.031 0.050 0.029 0.096 0.100 0.030
SK90/2.50.trs 0.030 0.030 0.048 0.029 0.047 0.075 0.029
SK90/2.51.trs 0.031 0.036 0.142 0.031 1.861 0.028 0.037
SK90/2.54.trs 0.048 0.029 0.077 0.029 0.100 0.026 0.030
SK90/4.12.trs 0.030 0.031 0.109 0.051 1.864 0.029 0.037
SK90/4.17.trs 0.036 0.033 0.072 0.030 0.982 0.029 0.031
SK90/4.24.trs 0.044 0.043 0.284 0.037 14.129 0.032 0.071
SK90/4.27.trs 0.052 0.047 0.177 0.036 0.584 0.033 0.034
SK90/4.30.trs 0.064 0.047 0.887 0.035 0.041 0.055 0.058
SK90/4.31.trs 0.039 0.033 0.293 0.034 0.309 0.032 0.050
SK90/4.34.trs 0.030 0.029 0.048 0.028 0.117 0.027 0.030
SK90/4.35.trs 0.032 0.028 0.046 0.027 0.070 0.028 0.026
SK90/4.41.trs 0.028 0.028 0.049 0.049 0.171 0.028 0.032
SK90/4.42.trs 0.037 0.043 0.290 0.038 1.181 0.031 0.043
SK90/4.46.trs 0.028 0.027 0.046 0.028 0.100 0.047 0.030
SK90/4.47.trs 0.037 0.084 0.159 0.043 2.653 0.036 0.043
SK90/4.50.trs 0.030 0.050 0.057 0.029 0.120 0.026 0.029
SK90/4.54.trs 0.032 0.038 0.156 0.050 0.137 0.028 0.035
SK90/4.56.trs 0.030 0.032 0.056 0.056 0.433 0.029 0.037
SK90/4.57.trs 0.043 0.064 0.667 0.039 60.022 0.031 0.060
SK90/4.59.trs 0.062 0.039 0.604 0.043 0.640 0.035 0.068
SK90/4.60.trs 0.035 0.037 0.528 0.042 47.119 0.266 0.036
SK90/4.61.trs 0.108 0.143 0.766 0.049 60.975 0.672 0.042