Runtime | Local Accuracy | Consistency Guarantees | Keep Positive (mask) | Keep Positive (resample) | Keep Positive (impute) | Keep Negative (mask) | Keep Negative (resample) | Keep Negative (impute) | Keep Absolute (mask) | Keep Absolute (resample) | Keep Absolute (impute) | Remove Positive (mask) | Remove Positive (resample) | Remove Positive (impute) | Remove Negative (mask) | Remove Negative (resample) | Remove Negative (impute) | Remove Absolute (mask) | Remove Absolute (resample) | Remove Absolute (impute) |
| Decision Tree | |||||||||||||||||||||
| TreeExplainer (independent) | |||||||||||||||||||||
| TreeExplainer | |||||||||||||||||||||
| Saabas | |||||||||||||||||||||
| Kernel SHAP 1000 mean ref. | |||||||||||||||||||||
| IME 1000 | |||||||||||||||||||||
| mean(|TreeExplainer|) | |||||||||||||||||||||
| Gain/Gini Importance | |||||||||||||||||||||
| Random | |||||||||||||||||||||
| Random Forest | |||||||||||||||||||||
| TreeExplainer (independent) | |||||||||||||||||||||
| TreeExplainer | |||||||||||||||||||||
| Saabas | |||||||||||||||||||||
| Kernel SHAP 1000 mean ref. | |||||||||||||||||||||
| IME 1000 | |||||||||||||||||||||
| mean(|TreeExplainer|) | |||||||||||||||||||||
| Gain/Gini Importance | |||||||||||||||||||||
| Random | |||||||||||||||||||||
| Gradient Boosted Trees | |||||||||||||||||||||
| TreeExplainer | |||||||||||||||||||||
| TreeExplainer (independent) | |||||||||||||||||||||
| Saabas | |||||||||||||||||||||
| Kernel SHAP 1000 mean ref. | |||||||||||||||||||||
| IME 1000 | |||||||||||||||||||||
| mean(|TreeExplainer|) | |||||||||||||||||||||
| Gain/Gini Importance | |||||||||||||||||||||
| Random | |||||||||||||||||||||
SHAP Benchmark v0.28.5k
| Higher score |
| Lower score |