================================================================================ TRAINING RESULTS - ALL DATASETS, FEATURES AND SPLITS COMPARISON ================================================================================ ================================================================================ DATASET: GRAPH_SHQIP ================================================================================ ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.5756 ± 1.5593 0.6553 ± 0.0331 0.7430 ± 0.0213 0.15/0.15 1.7325 ± 1.6350 0.6581 ± 0.0266 0.7331 ± 0.0223 0.1/0.2 3.8324 ± 3.0062 0.6469 ± 0.0281 0.7192 ± 0.0193 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.7636 ± 2.0789 0.5911 ± 0.0224 0.7765 ± 0.0272 0.15/0.15 4.8034 ± 1.4985 0.6266 ± 0.0207 0.7550 ± 0.0138 0.1/0.2 4.8019 ± 1.5406 0.6282 ± 0.0234 0.7447 ± 0.0119 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 348.7221 ± 280.3732 0.6397 ± 0.0188 0.6655 ± 0.0212 0.15/0.15 650.6879 ± 534.2033 0.6457 ± 0.0252 0.6683 ± 0.0246 0.1/0.2 674.2772 ± 547.9422 0.6401 ± 0.0162 0.6630 ± 0.0171 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5167756.4671 ± 3818504.1516 0.5369 ± 0.0749 0.5608 ± 0.1228 0.15/0.15 6327257.1574 ± 3043649.2863 0.5229 ± 0.0687 0.5354 ± 0.1062 0.1/0.2 4041552.8309 ± 3385398.9788 0.5792 ± 0.0975 0.6271 ± 0.1570 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.6029 ± 0.0923 0.6845 ± 0.0142 0.8423 ± 0.0103 0.15/0.15 0.6461 ± 0.0902 0.6809 ± 0.0156 0.8314 ± 0.0166 0.1/0.2 0.6318 ± 0.0402 0.6778 ± 0.0146 0.8300 ± 0.0157 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.5915 ± 0.0319 0.6757 ± 0.0154 0.8858 ± 0.0090 0.15/0.15 2.0843 ± 2.0916 0.6158 ± 0.0581 0.8570 ± 0.0529 0.1/0.2 2.9147 ± 2.3771 0.6210 ± 0.0574 0.8281 ± 0.0511 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.6274 ± 0.0560 0.6762 ± 0.0172 0.8224 ± 0.0077 0.15/0.15 0.6309 ± 0.0463 0.6784 ± 0.0104 0.8125 ± 0.0088 0.1/0.2 0.6244 ± 0.0370 0.6853 ± 0.0140 0.8213 ± 0.0144 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.5891 ± 0.0274 0.6897 ± 0.0141 0.8360 ± 0.0126 0.15/0.15 0.5874 ± 0.0170 0.6785 ± 0.0121 0.8248 ± 0.0139 0.1/0.2 0.5988 ± 0.0162 0.6829 ± 0.0102 0.8206 ± 0.0124 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 19.4264 ± 55.2527 0.6500 ± 0.0274 0.7816 ± 0.0277 0.15/0.15 0.8452 ± 0.4619 0.6502 ± 0.0142 0.7809 ± 0.0143 0.1/0.2 1.2618 ± 1.4469 0.6423 ± 0.0273 0.7719 ± 0.0191 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 3.3430 ± 1.7198 0.6007 ± 0.0367 0.8061 ± 0.0406 0.15/0.15 4.3192 ± 2.8615 0.6147 ± 0.0226 0.7865 ± 0.0413 0.1/0.2 3.6115 ± 1.2170 0.6259 ± 0.0186 0.7896 ± 0.0201 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 41.7447 ± 24.1289 0.6428 ± 0.0184 0.7405 ± 0.0263 0.15/0.15 46.4916 ± 23.4998 0.6469 ± 0.0165 0.7315 ± 0.0154 0.1/0.2 67.9738 ± 52.5894 0.6391 ± 0.0150 0.7282 ± 0.0183 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 330292.3242 ± 660624.5717 0.6292 ± 0.0678 0.7407 ± 0.1229 0.15/0.15 258071.8046 ± 518315.2759 0.6202 ± 0.0612 0.7265 ± 0.1144 0.1/0.2 497525.3464 ± 760794.6615 0.6080 ± 0.0732 0.6998 ± 0.1328 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 42.2828 ± 120.6191 0.6514 ± 0.0412 0.7359 ± 0.0350 0.15/0.15 1.2830 ± 1.3322 0.6523 ± 0.0248 0.7573 ± 0.0187 0.1/0.2 84.3911 ± 249.0951 0.6434 ± 0.0429 0.7579 ± 0.0347 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.3060 ± 2.3582 0.5938 ± 0.0190 0.7636 ± 0.0265 0.15/0.15 4.8288 ± 0.8676 0.6230 ± 0.0227 0.7470 ± 0.0133 0.1/0.2 4.3348 ± 1.1568 0.6245 ± 0.0125 0.7509 ± 0.0153 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 27.6122 ± 21.5894 0.6552 ± 0.0132 0.7430 ± 0.0233 0.15/0.15 26.3734 ± 14.9113 0.6606 ± 0.0188 0.7457 ± 0.0193 0.1/0.2 39.9876 ± 17.3315 0.6568 ± 0.0139 0.7415 ± 0.0137 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.8406 ± 0.5726 0.6801 ± 0.0248 0.8203 ± 0.0338 0.15/0.15 0.7630 ± 0.5380 0.6740 ± 0.0277 0.8161 ± 0.0200 0.1/0.2 0.7409 ± 0.5112 0.6882 ± 0.0313 0.8253 ± 0.0301 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 32.5556 ± 89.5132 0.6608 ± 0.0375 0.7514 ± 0.0300 0.15/0.15 1.8075 ± 1.9604 0.6532 ± 0.0332 0.7458 ± 0.0180 0.1/0.2 2.2658 ± 3.1138 0.6627 ± 0.0281 0.7408 ± 0.0317 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.0707 ± 1.0065 0.5839 ± 0.0231 0.7679 ± 0.0165 0.15/0.15 4.9268 ± 1.2802 0.6259 ± 0.0111 0.7518 ± 0.0081 0.1/0.2 3.1963 ± 1.2264 0.6196 ± 0.0228 0.7615 ± 0.0263 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 20.2524 ± 16.8164 0.6579 ± 0.0235 0.7601 ± 0.0153 0.15/0.15 24.8289 ± 12.0362 0.6502 ± 0.0216 0.7358 ± 0.0180 0.1/0.2 27.3550 ± 13.0855 0.6474 ± 0.0233 0.7422 ± 0.0177 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.5632 ± 0.0132 0.6987 ± 0.0147 0.8392 ± 0.0139 0.15/0.15 60370.4893 ± 181109.3577 0.6722 ± 0.0637 0.7928 ± 0.1024 0.1/0.2 0.9676 ± 0.6369 0.6732 ± 0.0357 0.8044 ± 0.0406 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.2203 ± 0.9953 0.6676 ± 0.0203 0.7415 ± 0.0277 0.15/0.15 2.4271 ± 1.1195 0.6442 ± 0.0345 0.7271 ± 0.0167 0.1/0.2 29.7722 ± 78.8916 0.6431 ± 0.0335 0.7246 ± 0.0287 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.9627 ± 2.8720 0.5921 ± 0.0301 0.7559 ± 0.0271 0.15/0.15 4.5061 ± 1.3130 0.6254 ± 0.0054 0.7559 ± 0.0150 0.1/0.2 4.1834 ± 0.8309 0.6407 ± 0.0111 0.7504 ± 0.0088 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 43.1038 ± 22.4182 0.6459 ± 0.0179 0.7261 ± 0.0203 0.15/0.15 73.6683 ± 43.7611 0.6429 ± 0.0148 0.7121 ± 0.0260 0.1/0.2 84.6510 ± 53.0498 0.6502 ± 0.0182 0.7210 ± 0.0235 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.7963 ± 0.5009 0.7068 ± 0.0315 0.8397 ± 0.0370 0.15/0.15 253272.9396 ± 506565.2469 0.6472 ± 0.0770 0.7586 ± 0.1321 0.1/0.2 550007.4922 ± 868730.0949 0.6253 ± 0.0829 0.7129 ± 0.1412 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 3.8396 ± 4.0228 0.6410 ± 0.0353 0.7106 ± 0.0225 0.15/0.15 2.3371 ± 1.6602 0.6578 ± 0.0323 0.7226 ± 0.0195 0.1/0.2 2.3132 ± 1.4569 0.6349 ± 0.0425 0.7236 ± 0.0124 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.9850 ± 2.0150 0.5975 ± 0.0300 0.7575 ± 0.0206 0.15/0.15 4.8862 ± 1.7745 0.6283 ± 0.0110 0.7514 ± 0.0178 0.1/0.2 4.5210 ± 1.4351 0.6333 ± 0.0153 0.7471 ± 0.0121 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 67.5293 ± 33.0164 0.6542 ± 0.0201 0.7122 ± 0.0220 0.15/0.15 104.4990 ± 71.3374 0.6433 ± 0.0249 0.7002 ± 0.0275 0.1/0.2 164.8656 ± 100.1523 0.6403 ± 0.0137 0.6953 ± 0.0179 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 864646.2941 ± 1066640.1124 0.5946 ± 0.0875 0.6710 ± 0.1466 0.15/0.15 704176.3779 ± 955015.5502 0.6079 ± 0.0909 0.6907 ± 0.1577 0.1/0.2 875313.5576 ± 1092536.0018 0.6071 ± 0.0927 0.6833 ± 0.1530 ================================================================================ DATASET: GRAPH_SHQIP_NSL ================================================================================ ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 2.9777 ± 1.6589 0.6191 ± 0.0398 0.6829 ± 0.0265 0.15/0.15 3.3275 ± 2.5514 0.6221 ± 0.0297 0.6698 ± 0.0217 0.1/0.2 5.6429 ± 3.6574 0.6360 ± 0.0234 0.6745 ± 0.0197 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.4081 ± 1.5992 0.5835 ± 0.0241 0.7320 ± 0.0248 0.15/0.15 6.9320 ± 2.8168 0.5839 ± 0.0159 0.7083 ± 0.0225 0.1/0.2 6.7200 ± 2.3118 0.5795 ± 0.0256 0.7116 ± 0.0153 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5716.0387 ± 10781.7132 0.6055 ± 0.0217 0.6156 ± 0.0266 0.15/0.15 1461.9598 ± 1014.2255 0.6239 ± 0.0191 0.6351 ± 0.0243 0.1/0.2 1405.1768 ± 624.4978 0.6191 ± 0.0194 0.6358 ± 0.0195 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 7056274.8500 ± 3048303.6836 0.5004 ± 0.0016 0.5004 ± 0.0016 0.15/0.15 7061837.3125 ± 3101823.4711 0.4995 ± 0.0015 0.4995 ± 0.0015 0.1/0.2 5559992.7250 ± 2332939.0950 0.4995 ± 0.0014 0.4995 ± 0.0014 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.1115 ± 10.1845 0.6459 ± 0.0135 0.7601 ± 0.0199 0.15/0.15 4.0939 ± 4.7014 0.6489 ± 0.0267 0.7300 ± 0.0479 0.1/0.2 7.2319 ± 12.8425 0.6428 ± 0.0138 0.7315 ± 0.0397 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.3144 ± 1.3000 0.6136 ± 0.0381 0.8207 ± 0.0297 0.15/0.15 3.6812 ± 3.0685 0.5866 ± 0.0409 0.7649 ± 0.0436 0.1/0.2 2.7927 ± 1.8974 0.5951 ± 0.0429 0.7631 ± 0.0345 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.8052 ± 0.2889 0.6244 ± 0.0235 0.7092 ± 0.0304 0.15/0.15 0.7525 ± 0.0916 0.6252 ± 0.0298 0.7088 ± 0.0336 0.1/0.2 0.7641 ± 0.0430 0.6179 ± 0.0274 0.6943 ± 0.0284 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.7046 ± 0.0520 0.6449 ± 0.0138 0.7339 ± 0.0181 0.15/0.15 0.7475 ± 0.0631 0.6272 ± 0.0192 0.7063 ± 0.0162 0.1/0.2 0.7004 ± 0.0306 0.6477 ± 0.0209 0.7303 ± 0.0189 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.0620 ± 3.1375 0.6279 ± 0.0129 0.6772 ± 0.0239 0.15/0.15 5.6817 ± 2.9165 0.6047 ± 0.0265 0.6607 ± 0.0174 0.1/0.2 4.4104 ± 2.6884 0.6181 ± 0.0192 0.6703 ± 0.0145 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 6.4128 ± 1.6023 0.5799 ± 0.0245 0.7190 ± 0.0218 0.15/0.15 5.6197 ± 1.5056 0.5803 ± 0.0134 0.7199 ± 0.0197 0.1/0.2 6.7764 ± 2.1783 0.5858 ± 0.0248 0.7179 ± 0.0163 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 240.6632 ± 184.0419 0.6169 ± 0.0159 0.6405 ± 0.0112 0.15/0.15 246.8741 ± 120.8270 0.6148 ± 0.0233 0.6356 ± 0.0241 0.1/0.2 339.3954 ± 199.7339 0.6146 ± 0.0194 0.6364 ± 0.0187 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 666779.8755 ± 726555.4301 0.5352 ± 0.0455 0.5601 ± 0.0749 0.15/0.15 1392529.6281 ± 597647.9022 0.4992 ± 0.0006 0.4990 ± 0.0007 0.1/0.2 1303410.9875 ± 674591.7212 0.4989 ± 0.0026 0.4987 ± 0.0024 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.0463 ± 3.6639 0.6363 ± 0.0271 0.6794 ± 0.0353 0.15/0.15 4.6313 ± 2.1990 0.6330 ± 0.0278 0.6813 ± 0.0206 0.1/0.2 3.3283 ± 2.2455 0.6415 ± 0.0212 0.6829 ± 0.0209 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 6.9896 ± 2.4481 0.5755 ± 0.0191 0.6974 ± 0.0200 0.15/0.15 6.5807 ± 2.6157 0.5881 ± 0.0115 0.7147 ± 0.0216 0.1/0.2 5.9784 ± 1.7081 0.5759 ± 0.0207 0.7198 ± 0.0254 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 54.4252 ± 56.2588 0.6427 ± 0.0273 0.7022 ± 0.0377 0.15/0.15 82.7341 ± 60.4650 0.6376 ± 0.0155 0.6888 ± 0.0252 0.1/0.2 60.1073 ± 43.2169 0.6317 ± 0.0315 0.6803 ± 0.0312 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 319288.9230 ± 320432.5159 0.5501 ± 0.0649 0.5876 ± 0.1116 0.15/0.15 346779.0214 ± 422194.5664 0.5261 ± 0.0536 0.5444 ± 0.0910 0.1/0.2 291943.9758 ± 345225.0827 0.5625 ± 0.0645 0.6054 ± 0.1080 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.0773 ± 2.3296 0.6403 ± 0.0214 0.6815 ± 0.0249 0.15/0.15 4.1564 ± 2.1010 0.6359 ± 0.0222 0.6679 ± 0.0214 0.1/0.2 3.4071 ± 1.6471 0.6442 ± 0.0103 0.6737 ± 0.0155 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.5430 ± 2.0943 0.5673 ± 0.0255 0.7279 ± 0.0243 0.15/0.15 5.5186 ± 1.5080 0.5828 ± 0.0160 0.7143 ± 0.0190 0.1/0.2 6.6738 ± 2.4413 0.5724 ± 0.0165 0.7176 ± 0.0190 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 98.4324 ± 78.7221 0.6283 ± 0.0226 0.6814 ± 0.0359 0.15/0.15 57.1285 ± 34.8266 0.6264 ± 0.0263 0.6862 ± 0.0219 0.1/0.2 748.1775 ± 1961.0799 0.6195 ± 0.0218 0.6578 ± 0.0281 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 233301.6783 ± 342198.7206 0.5725 ± 0.0719 0.6192 ± 0.1180 0.15/0.15 389234.4158 ± 396975.8440 0.5615 ± 0.0672 0.6067 ± 0.1109 0.1/0.2 438948.6848 ± 307160.1824 0.5217 ± 0.0444 0.5362 ± 0.0737 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 20.1750 ± 43.7542 0.6292 ± 0.0260 0.6631 ± 0.0254 0.15/0.15 4.2906 ± 2.6307 0.6185 ± 0.0311 0.6743 ± 0.0204 0.1/0.2 4.1774 ± 2.6488 0.6402 ± 0.0147 0.6777 ± 0.0149 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 6.6490 ± 2.0914 0.5671 ± 0.0283 0.7086 ± 0.0173 0.15/0.15 6.2425 ± 1.4270 0.5776 ± 0.0207 0.7176 ± 0.0180 0.1/0.2 5.9233 ± 1.5402 0.5903 ± 0.0170 0.7181 ± 0.0183 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 277.3569 ± 322.1582 0.6241 ± 0.0266 0.6486 ± 0.0312 0.15/0.15 279.7827 ± 191.0981 0.6160 ± 0.0223 0.6383 ± 0.0250 0.1/0.2 196.2967 ± 107.5122 0.6119 ± 0.0208 0.6417 ± 0.0186 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1111532.4425 ± 731274.0912 0.5141 ± 0.0447 0.5233 ± 0.0730 0.15/0.15 1269240.9104 ± 773296.0409 0.5109 ± 0.0331 0.5187 ± 0.0564 0.1/0.2 887071.5679 ± 911588.8266 0.5237 ± 0.0487 0.5405 ± 0.0830 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 3.4394 ± 1.8399 0.6324 ± 0.0351 0.6737 ± 0.0208 0.15/0.15 2.4894 ± 1.6803 0.6373 ± 0.0173 0.6867 ± 0.0230 0.1/0.2 4.1901 ± 1.8460 0.6271 ± 0.0318 0.6658 ± 0.0274 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 6.2790 ± 2.6597 0.5696 ± 0.0256 0.7210 ± 0.0292 0.15/0.15 6.6264 ± 1.6686 0.5781 ± 0.0147 0.7161 ± 0.0188 0.1/0.2 6.8639 ± 3.0651 0.5763 ± 0.0252 0.7126 ± 0.0266 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 3602.8854 ± 9622.3461 0.6249 ± 0.0241 0.6459 ± 0.0265 0.15/0.15 1040.9139 ± 1001.7561 0.6226 ± 0.0234 0.6333 ± 0.0301 0.1/0.2 5000.6000 ± 10191.3550 0.6100 ± 0.0228 0.6272 ± 0.0327 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1603924.1093 ± 1144036.6900 0.5147 ± 0.0436 0.5255 ± 0.0760 0.15/0.15 1445401.7822 ± 1309064.7671 0.4992 ± 0.0020 0.4990 ± 0.0019 0.1/0.2 1770631.3136 ± 1105991.3418 0.4996 ± 0.0011 0.4995 ± 0.0012 ================================================================================ DATASET: GRAPH_SHQIP_RT ================================================================================ ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.5337 ± 1.4402 0.6428 ± 0.0333 1.0000 ± 0.0000 0.7439 ± 0.0371 0.15/0.15 1.9037 ± 1.3948 0.6430 ± 0.0197 0.9937 ± 0.0190 0.7286 ± 0.0161 0.1/0.2 1.3244 ± 1.1220 0.6441 ± 0.0299 1.0000 ± 0.0000 0.7377 ± 0.0217 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.1593 ± 2.6722 0.5941 ± 0.0284 0.7829 ± 0.3492 0.7817 ± 0.0229 0.15/0.15 4.9434 ± 1.6305 0.6133 ± 0.0241 0.6711 ± 0.2916 0.7681 ± 0.0176 0.1/0.2 4.9599 ± 1.3800 0.6244 ± 0.0223 0.8321 ± 0.2448 0.7611 ± 0.0144 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1984.4588 ± 4633.7803 0.6414 ± 0.0226 0.7454 ± 0.2085 0.6593 ± 0.0307 0.15/0.15 851.2259 ± 431.7757 0.6400 ± 0.0169 0.6066 ± 0.2379 0.6575 ± 0.0211 0.1/0.2 1055.8499 ± 1622.6520 0.6421 ± 0.0192 0.6695 ± 0.2905 0.6658 ± 0.0198 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: constant | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 3047027.9490 ± 3310906.6289 0.5819 ± 0.1027 0.9932 ± 0.0085 0.6290 ± 0.1610 0.15/0.15 6902292.8074 ± 3004158.1629 0.5209 ± 0.0624 0.9937 ± 0.0097 0.5346 ± 0.1035 0.1/0.2 5583652.2874 ± 3314514.0631 0.5359 ± 0.0713 0.9916 ± 0.0096 0.5585 ± 0.1164 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.7981 ± 0.1050 0.6500 ± 0.0262 1.0000 ± 0.0000 0.8213 ± 0.0065 0.15/0.15 0.7775 ± 0.0716 0.6482 ± 0.0220 0.9999 ± 0.0003 0.8199 ± 0.0099 0.1/0.2 0.9176 ± 0.4079 0.6611 ± 0.0159 1.0000 ± 0.0000 0.8178 ± 0.0141 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.6644 ± 0.0318 0.6555 ± 0.0219 1.0000 ± 0.0000 0.8897 ± 0.0103 0.15/0.15 0.7003 ± 0.0507 0.6394 ± 0.0168 0.9998 ± 0.0003 0.8819 ± 0.0123 0.1/0.2 0.7128 ± 0.0727 0.6401 ± 0.0222 0.9999 ± 0.0002 0.8816 ± 0.0113 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.7036 ± 0.0307 0.6653 ± 0.0185 0.9999 ± 0.0002 0.8218 ± 0.0159 0.15/0.15 0.7390 ± 0.0400 0.6411 ± 0.0101 0.9999 ± 0.0002 0.8035 ± 0.0107 0.1/0.2 0.7341 ± 0.0601 0.6449 ± 0.0154 1.0000 ± 0.0000 0.8045 ± 0.0146 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: one_hot | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.6798 ± 0.0355 0.6610 ± 0.0165 1.0000 ± 0.0000 0.8279 ± 0.0132 0.15/0.15 0.7026 ± 0.0174 0.6503 ± 0.0129 1.0000 ± 0.0000 0.8152 ± 0.0131 0.1/0.2 0.6942 ± 0.0446 0.6554 ± 0.0134 0.9999 ± 0.0002 0.8132 ± 0.0165 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.2541 ± 0.9754 0.6548 ± 0.0250 1.0000 ± 0.0000 0.7891 ± 0.0246 0.15/0.15 46.4846 ± 136.1217 0.6431 ± 0.0131 1.0000 ± 0.0000 0.7791 ± 0.0278 0.1/0.2 1.0972 ± 0.7900 0.6474 ± 0.0207 1.0000 ± 0.0000 0.7901 ± 0.0093 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.3923 ± 2.2390 0.6026 ± 0.0198 0.7895 ± 0.2514 0.7976 ± 0.0240 0.15/0.15 3.5632 ± 1.0597 0.6025 ± 0.0221 0.9410 ± 0.1006 0.8048 ± 0.0160 0.1/0.2 4.5087 ± 1.9787 0.6099 ± 0.0185 0.7104 ± 0.2846 0.7909 ± 0.0272 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 58.0853 ± 37.1160 0.6465 ± 0.0125 0.9674 ± 0.0460 0.7275 ± 0.0192 0.15/0.15 68.5523 ± 38.0952 0.6393 ± 0.0141 0.9059 ± 0.1314 0.7142 ± 0.0244 0.1/0.2 67.2169 ± 59.1366 0.6436 ± 0.0166 0.9040 ± 0.1717 0.7308 ± 0.0200 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: laplacian | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.7645 ± 0.7268 0.6357 ± 0.0262 0.9995 ± 0.0014 0.7854 ± 0.0225 0.15/0.15 383330.8573 ± 600887.4997 0.5992 ± 0.0670 0.9983 ± 0.0031 0.6996 ± 0.1313 0.1/0.2 637108.8513 ± 826377.9447 0.5900 ± 0.0752 0.9930 ± 0.0111 0.6743 ± 0.1440 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 2.1986 ± 1.8026 0.6543 ± 0.0293 1.0000 ± 0.0000 0.7544 ± 0.0322 0.15/0.15 59.9089 ± 173.3155 0.6421 ± 0.0192 0.9590 ± 0.1231 0.7466 ± 0.0374 0.1/0.2 9.8960 ± 24.6016 0.6554 ± 0.0235 1.0000 ± 0.0000 0.7305 ± 0.0175 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 4.8907 ± 1.6638 0.5904 ± 0.0290 0.8445 ± 0.2023 0.7776 ± 0.0197 0.15/0.15 4.4937 ± 1.3131 0.6184 ± 0.0194 0.7676 ± 0.2618 0.7584 ± 0.0082 0.1/0.2 4.0397 ± 1.2254 0.6080 ± 0.0288 0.9296 ± 0.1312 0.7650 ± 0.0209 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 16.2356 ± 9.9517 0.6550 ± 0.0217 0.9899 ± 0.0130 0.7527 ± 0.0224 0.15/0.15 28.0052 ± 14.7233 0.6509 ± 0.0182 0.9695 ± 0.0353 0.7418 ± 0.0176 0.1/0.2 35.0543 ± 21.6609 0.6654 ± 0.0185 0.9395 ± 0.0452 0.7556 ± 0.0179 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_full | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.0450 ± 0.6821 0.6765 ± 0.0369 1.0000 ± 0.0000 0.8036 ± 0.0465 0.15/0.15 0.7420 ± 0.5081 0.6803 ± 0.0324 1.0000 ± 0.0000 0.8188 ± 0.0300 0.1/0.2 1.2326 ± 0.9198 0.6551 ± 0.0522 1.0000 ± 0.0000 0.7831 ± 0.0519 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 0.6548 ± 0.0262 0.6572 ± 0.0329 1.0000 ± 0.0000 0.7678 ± 0.0116 0.15/0.15 2.2993 ± 3.0462 0.6628 ± 0.0141 0.9615 ± 0.1156 0.7406 ± 0.0327 0.1/0.2 77.2915 ± 212.4442 0.6664 ± 0.0192 0.9753 ± 0.0741 0.7682 ± 0.0241 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.3777 ± 2.9159 0.5899 ± 0.0220 0.7986 ± 0.1778 0.7678 ± 0.0317 0.15/0.15 3.9644 ± 1.2354 0.6072 ± 0.0279 0.8248 ± 0.1142 0.7699 ± 0.0201 0.1/0.2 4.7734 ± 2.2538 0.6100 ± 0.0243 0.8588 ± 0.1877 0.7616 ± 0.0259 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 40.9083 ± 23.4496 0.6506 ± 0.0221 0.9111 ± 0.1077 0.7440 ± 0.0191 0.15/0.15 24.6255 ± 14.0318 0.6591 ± 0.0152 0.9617 ± 0.0390 0.7513 ± 0.0125 0.1/0.2 28.4049 ± 24.3680 0.6524 ± 0.0211 0.9449 ± 0.0802 0.7428 ± 0.0129 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: lda_top1k | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.1180 ± 0.8528 0.6683 ± 0.0409 1.0000 ± 0.0000 0.8091 ± 0.0465 0.15/0.15 1.0183 ± 0.7582 0.6764 ± 0.0325 1.0000 ± 0.0000 0.8074 ± 0.0391 0.1/0.2 0.7314 ± 0.4746 0.6889 ± 0.0149 1.0000 ± 0.0000 0.8220 ± 0.0157 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.5804 ± 1.3859 0.6475 ± 0.0291 1.0000 ± 0.0000 0.7378 ± 0.0242 0.15/0.15 21.1881 ± 48.7696 0.6465 ± 0.0311 0.9979 ± 0.0063 0.7405 ± 0.0256 0.1/0.2 2.8139 ± 2.5318 0.6435 ± 0.0313 1.0000 ± 0.0000 0.7283 ± 0.0268 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.1386 ± 2.1366 0.5918 ± 0.0200 0.7112 ± 0.2055 0.7751 ± 0.0187 0.15/0.15 3.9755 ± 1.6552 0.6070 ± 0.0236 0.8521 ± 0.1995 0.7602 ± 0.0180 0.1/0.2 5.2359 ± 1.4492 0.6171 ± 0.0239 0.7573 ± 0.2222 0.7552 ± 0.0194 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 47.8327 ± 23.2629 0.6575 ± 0.0184 0.9853 ± 0.0148 0.7460 ± 0.0259 0.15/0.15 51.2580 ± 33.2367 0.6305 ± 0.0212 0.9600 ± 0.0564 0.7031 ± 0.0350 0.1/0.2 87.6828 ± 83.1163 0.6394 ± 0.0135 0.8975 ± 0.2225 0.7165 ± 0.0191 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: ne | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 527575.4275 ± 808806.1106 0.6454 ± 0.0977 0.9980 ± 0.0052 0.7418 ± 0.1596 0.15/0.15 576422.8337 ± 755188.2493 0.6120 ± 0.0922 0.9942 ± 0.0104 0.6924 ± 0.1580 0.1/0.2 75195.9063 ± 225584.6979 0.6618 ± 0.0603 0.9967 ± 0.0100 0.7773 ± 0.0981 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GAT ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 1.6571 ± 1.4535 0.6605 ± 0.0273 0.9727 ± 0.0818 0.7386 ± 0.0112 0.15/0.15 2.1151 ± 2.9245 0.6597 ± 0.0144 1.0000 ± 0.0000 0.7235 ± 0.0225 0.1/0.2 1.7749 ± 1.2207 0.6414 ± 0.0279 1.0000 ± 0.0000 0.7165 ± 0.0082 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GCN ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 5.1668 ± 1.8407 0.5921 ± 0.0360 0.8268 ± 0.3104 0.7662 ± 0.0244 0.15/0.15 5.6407 ± 1.1380 0.6178 ± 0.0182 0.6604 ± 0.1131 0.7581 ± 0.0192 0.1/0.2 5.1737 ± 1.3969 0.6182 ± 0.0224 0.7429 ± 0.2303 0.7553 ± 0.0167 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GraphSAGE ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 63.8432 ± 27.3548 0.6348 ± 0.0138 0.9700 ± 0.0375 0.6987 ± 0.0169 0.15/0.15 198.9744 ± 136.6430 0.6510 ± 0.0176 0.8399 ± 0.1832 0.7019 ± 0.0223 0.1/0.2 127.1300 ± 84.8553 0.6507 ± 0.0176 0.8693 ± 0.1297 0.7151 ± 0.0215 ──────────────────────────────────────────────────────────────────────────────────────────────────── Feature: user_features | Encoder: GraphTransformer ──────────────────────────────────────────────────────────────────────────────────────────────────── Split Test Loss Accuracy Type Acc AUC-ROC ---------------------------------------------------------------------------------------------------- 0.1/0.1 302861.9751 ± 908583.0083 0.6840 ± 0.0693 0.9980 ± 0.0061 0.7953 ± 0.1062 0.15/0.15 766889.3661 ± 845072.5850 0.5711 ± 0.0905 0.9946 ± 0.0127 0.6234 ± 0.1555 0.1/0.2 839163.8899 ± 1284556.4271 0.5811 ± 0.0866 0.9897 ± 0.0139 0.6477 ± 0.1507