{
  "scope": "synthetic frozen analytic binary scorer; no neural training",
  "python": "3.12.14",
  "numpy": "2.3.5",
  "seeds": [
    78,
    79,
    80
  ],
  "split_sizes": {
    "cal": 1024,
    "policy": 1024,
    "id": 4096,
    "shift": 4096
  },
  "settings": {
    "threshold_grid": [
      0.5,
      0.51,
      0.52,
      0.53,
      0.54,
      0.55,
      0.56,
      0.57,
      0.58,
      0.59,
      0.6,
      0.61,
      0.62,
      0.63,
      0.64,
      0.65,
      0.66,
      0.67,
      0.68,
      0.69,
      0.7,
      0.71,
      0.72,
      0.73,
      0.74,
      0.75,
      0.76,
      0.77,
      0.78,
      0.79,
      0.8,
      0.81,
      0.82,
      0.83,
      0.84,
      0.85,
      0.86,
      0.87,
      0.88,
      0.89,
      0.9,
      0.91,
      0.92,
      0.93,
      0.94,
      0.95,
      0.96,
      0.97,
      0.98,
      0.99
    ],
    "target_empirical_risk": 0.1,
    "min_accepted_policy": 100,
    "temperature_bounds": [
      0.05,
      20
    ]
  },
  "self_checks": {
    "bin_cancellation": {
      "ece1": 1.1102230246251565e-16,
      "ece10": 0.3000000000000001
    },
    "multiclass_rank_reversal": {
      "logits": [
        [
          2.0,
          0.0,
          0.0
        ],
        [
          1.5,
          1.4,
          -10.0
        ]
      ],
      "T1": [
        0.7869860421615984,
        0.5249763956081094
      ],
      "T10": [
        0.3791524530939888,
        0.4335222646387448
      ]
    },
    "empty_acceptance_risk": null,
    "boundary_and_stability": "passed"
  },
  "runs": [
    {
      "seed": 78,
      "temperature": 2.700000012598117,
      "inverse_temperature_gradient": -4.85722573273506e-17,
      "fit_trace": [
        [
          10.025,
          0.5240988178579
        ],
        [
          5.0375000000000005,
          0.5207375834383645
        ],
        [
          2.54375,
          0.5072946669099002
        ],
        [
          1.296875,
          0.4574061007852349
        ],
        [
          0.6734375,
          0.3065300183592473
        ],
        [
          0.36171875000000003,
          -0.01570650903691604
        ],
        [
          0.517578125,
          0.1941276950300254
        ],
        [
          0.43964843750000004,
          0.10640036612930924
        ],
        [
          0.40068359375000007,
          0.05052071994219274
        ],
        [
          0.381201171875,
          0.018830526273219697
        ],
        [
          0.3714599609375,
          0.0019355484355906352
        ],
        [
          0.36658935546875004,
          -0.006789790163197265
        ],
        [
          0.369024658203125,
          -0.002403490785450546
        ],
        [
          0.3702423095703125,
          -0.00022809983294563851
        ],
        [
          0.37085113525390623,
          0.0008551876382060508
        ],
        [
          0.3705467224121094,
          0.00031391029812713467
        ],
        [
          0.370394515991211,
          4.299690171640641e-05
        ],
        [
          0.3703184127807617,
          -9.25285395460343e-05
        ],
        [
          0.37035646438598635,
          -2.4760088496382504e-05
        ],
        [
          0.37037549018859867,
          9.119839077302572e-06
        ],
        [
          0.3703659772872925,
          -7.8197665755661e-06
        ],
        [
          0.3703707337379456,
          6.501257823199325e-07
        ],
        [
          0.37036835551261904,
          -3.5847980135103596e-06
        ],
        [
          0.3703695446252823,
          -1.4673305198456554e-06
        ],
        [
          0.370370139181614,
          -4.0860096982286986e-07
        ],
        [
          0.3703704364597798,
          1.2076275594102848e-07
        ],
        [
          0.3703702878206969,
          -1.4391901943106022e-07
        ],
        [
          0.37037036214023833,
          -1.157810992913344e-08
        ],
        [
          0.37037039930000903,
          5.4592328435632e-08
        ],
        [
          0.3703703807201237,
          2.1507110647966954e-08
        ],
        [
          0.37037037143018103,
          4.96450072023924e-09
        ],
        [
          0.3703703667852097,
          -3.3068045038331384e-09
        ],
        [
          0.3703703691076954,
          8.288482261642471e-10
        ],
        [
          0.3703703679464525,
          -1.2389781978150438e-09
        ],
        [
          0.37037036852707395,
          -2.0506504133654957e-10
        ],
        [
          0.37037036881738467,
          3.1189158200550793e-10
        ],
        [
          0.3703703686722293,
          5.3413190537199284e-11
        ],
        [
          0.3703703685996516,
          -7.582587335797086e-11
        ],
        [
          0.3703703686359404,
          -1.1206376104855309e-11
        ],
        [
          0.37037036865408485,
          2.1103424563406747e-11
        ],
        [
          0.3703703686450126,
          4.948534637616575e-12
        ],
        [
          0.3703703686404765,
          -3.1289693058766943e-12
        ],
        [
          0.37037036864274453,
          9.09737563059565e-13
        ],
        [
          0.37037036864161055,
          -1.1095638297042854e-12
        ],
        [
          0.37037036864217754,
          -9.996864447359144e-14
        ],
        [
          0.37037036864246103,
          4.048913981868907e-13
        ],
        [
          0.3703703686423193,
          1.5257239915911214e-13
        ],
        [
          0.3703703686422484,
          2.6291469001904488e-14
        ],
        [
          0.37037036864221295,
          -3.6817771054131754e-14
        ],
        [
          0.3703703686422307,
          -5.245803791353865e-15
        ],
        [
          0.3703703686422396,
          1.0581813203458523e-14
        ],
        [
          0.37037036864223516,
          2.6575963651964685e-15
        ],
        [
          0.37037036864223294,
          -1.2281842209915794e-15
        ],
        [
          0.37037036864223405,
          6.938893903907228e-16
        ],
        [
          0.3703703686422335,
          -2.7755575615628914e-16
        ],
        [
          0.37037036864223377,
          1.6653345369377348e-16
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422337,
          1.6653345369377348e-16
        ],
        [
          0.37037036864223366,
          4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ],
        [
          0.3703703686422336,
          -4.85722573273506e-17
        ]
      ],
      "policies": {
        "raw": {
          "chosen": {
            "threshold": 0.99,
            "accepted": 389,
            "errors": 38,
            "coverage": 0.3798828125,
            "risk": 0.09768637532133675
          },
          "sweep": [
            {
              "threshold": 0.5,
              "accepted": 1024,
              "errors": 263,
              "coverage": 1.0,
              "risk": 0.2568359375
            },
            {
              "threshold": 0.51,
              "accepted": 1017,
              "errors": 257,
              "coverage": 0.9931640625,
              "risk": 0.2527040314650934
            },
            {
              "threshold": 0.52,
              "accepted": 1010,
              "errors": 253,
              "coverage": 0.986328125,
              "risk": 0.2504950495049505
            },
            {
              "threshold": 0.53,
              "accepted": 1007,
              "errors": 251,
              "coverage": 0.9833984375,
              "risk": 0.24925521350546176
            },
            {
              "threshold": 0.54,
              "accepted": 1003,
              "errors": 247,
              "coverage": 0.9794921875,
              "risk": 0.24626121635094717
            },
            {
              "threshold": 0.55,
              "accepted": 997,
              "errors": 244,
              "coverage": 0.9736328125,
              "risk": 0.24473420260782347
            },
            {
              "threshold": 0.56,
              "accepted": 993,
              "errors": 243,
              "coverage": 0.9697265625,
              "risk": 0.24471299093655588
            },
            {
              "threshold": 0.57,
              "accepted": 987,
              "errors": 241,
              "coverage": 0.9638671875,
              "risk": 0.24417426545086118
            },
            {
              "threshold": 0.58,
              "accepted": 977,
              "errors": 236,
              "coverage": 0.9541015625,
              "risk": 0.24155578300921188
            },
            {
              "threshold": 0.59,
              "accepted": 969,
              "errors": 231,
              "coverage": 0.9462890625,
              "risk": 0.23839009287925697
            },
            {
              "threshold": 0.6,
              "accepted": 965,
              "errors": 228,
              "coverage": 0.9423828125,
              "risk": 0.23626943005181347
            },
            {
              "threshold": 0.61,
              "accepted": 952,
              "errors": 219,
              "coverage": 0.9296875,
              "risk": 0.23004201680672268
            },
            {
              "threshold": 0.62,
              "accepted": 945,
              "errors": 216,
              "coverage": 0.9228515625,
              "risk": 0.22857142857142856
            },
            {
              "threshold": 0.63,
              "accepted": 931,
              "errors": 211,
              "coverage": 0.9091796875,
              "risk": 0.22663802363050484
            },
            {
              "threshold": 0.64,
              "accepted": 924,
              "errors": 208,
              "coverage": 0.90234375,
              "risk": 0.22510822510822512
            },
            {
              "threshold": 0.65,
              "accepted": 919,
              "errors": 206,
              "coverage": 0.8974609375,
              "risk": 0.22415669205658323
            },
            {
              "threshold": 0.66,
              "accepted": 911,
              "errors": 203,
              "coverage": 0.8896484375,
              "risk": 0.22283205268935236
            },
            {
              "threshold": 0.67,
              "accepted": 905,
              "errors": 200,
              "coverage": 0.8837890625,
              "risk": 0.22099447513812154
            },
            {
              "threshold": 0.68,
              "accepted": 891,
              "errors": 194,
              "coverage": 0.8701171875,
              "risk": 0.21773288439955107
            },
            {
              "threshold": 0.69,
              "accepted": 886,
              "errors": 191,
              "coverage": 0.865234375,
              "risk": 0.21557562076749437
            },
            {
              "threshold": 0.7,
              "accepted": 877,
              "errors": 187,
              "coverage": 0.8564453125,
              "risk": 0.21322690992018245
            },
            {
              "threshold": 0.71,
              "accepted": 870,
              "errors": 183,
              "coverage": 0.849609375,
              "risk": 0.2103448275862069
            },
            {
              "threshold": 0.72,
              "accepted": 860,
              "errors": 178,
              "coverage": 0.83984375,
              "risk": 0.2069767441860465
            },
            {
              "threshold": 0.73,
              "accepted": 854,
              "errors": 177,
              "coverage": 0.833984375,
              "risk": 0.20725995316159251
            },
            {
              "threshold": 0.74,
              "accepted": 850,
              "errors": 175,
              "coverage": 0.830078125,
              "risk": 0.20588235294117646
            },
            {
              "threshold": 0.75,
              "accepted": 843,
              "errors": 173,
              "coverage": 0.8232421875,
              "risk": 0.20521945432977462
            },
            {
              "threshold": 0.76,
              "accepted": 841,
              "errors": 172,
              "coverage": 0.8212890625,
              "risk": 0.20451843043995244
            },
            {
              "threshold": 0.77,
              "accepted": 831,
              "errors": 169,
              "coverage": 0.8115234375,
              "risk": 0.20336943441636582
            },
            {
              "threshold": 0.78,
              "accepted": 829,
              "errors": 167,
              "coverage": 0.8095703125,
              "risk": 0.2014475271411339
            },
            {
              "threshold": 0.79,
              "accepted": 815,
              "errors": 163,
              "coverage": 0.7958984375,
              "risk": 0.2
            },
            {
              "threshold": 0.8,
              "accepted": 802,
              "errors": 160,
              "coverage": 0.783203125,
              "risk": 0.19950124688279303
            },
            {
              "threshold": 0.81,
              "accepted": 793,
              "errors": 154,
              "coverage": 0.7744140625,
              "risk": 0.19419924337957126
            },
            {
              "threshold": 0.82,
              "accepted": 786,
              "errors": 152,
              "coverage": 0.767578125,
              "risk": 0.19338422391857507
            },
            {
              "threshold": 0.83,
              "accepted": 774,
              "errors": 146,
              "coverage": 0.755859375,
              "risk": 0.18863049095607234
            },
            {
              "threshold": 0.84,
              "accepted": 766,
              "errors": 143,
              "coverage": 0.748046875,
              "risk": 0.1866840731070496
            },
            {
              "threshold": 0.85,
              "accepted": 754,
              "errors": 139,
              "coverage": 0.736328125,
              "risk": 0.1843501326259947
            },
            {
              "threshold": 0.86,
              "accepted": 743,
              "errors": 137,
              "coverage": 0.7255859375,
              "risk": 0.18438761776581428
            },
            {
              "threshold": 0.87,
              "accepted": 734,
              "errors": 133,
              "coverage": 0.716796875,
              "risk": 0.18119891008174388
            },
            {
              "threshold": 0.88,
              "accepted": 719,
              "errors": 127,
              "coverage": 0.7021484375,
              "risk": 0.17663421418636996
            },
            {
              "threshold": 0.89,
              "accepted": 704,
              "errors": 123,
              "coverage": 0.6875,
              "risk": 0.1747159090909091
            },
            {
              "threshold": 0.9,
              "accepted": 682,
              "errors": 115,
              "coverage": 0.666015625,
              "risk": 0.16862170087976538
            },
            {
              "threshold": 0.91,
              "accepted": 663,
              "errors": 111,
              "coverage": 0.6474609375,
              "risk": 0.167420814479638
            },
            {
              "threshold": 0.92,
              "accepted": 650,
              "errors": 108,
              "coverage": 0.634765625,
              "risk": 0.16615384615384615
            },
            {
              "threshold": 0.93,
              "accepted": 629,
              "errors": 99,
              "coverage": 0.6142578125,
              "risk": 0.1573926868044515
            },
            {
              "threshold": 0.94,
              "accepted": 611,
              "errors": 94,
              "coverage": 0.5966796875,
              "risk": 0.15384615384615385
            },
            {
              "threshold": 0.95,
              "accepted": 594,
              "errors": 87,
              "coverage": 0.580078125,
              "risk": 0.14646464646464646
            },
            {
              "threshold": 0.96,
              "accepted": 562,
              "errors": 74,
              "coverage": 0.548828125,
              "risk": 0.13167259786476868
            },
            {
              "threshold": 0.97,
              "accepted": 522,
              "errors": 64,
              "coverage": 0.509765625,
              "risk": 0.12260536398467432
            },
            {
              "threshold": 0.98,
              "accepted": 473,
              "errors": 55,
              "coverage": 0.4619140625,
              "risk": 0.11627906976744186
            },
            {
              "threshold": 0.99,
              "accepted": 389,
              "errors": 38,
              "coverage": 0.3798828125,
              "risk": 0.09768637532133675
            }
          ]
        },
        "scaled": {
          "chosen": {
            "threshold": 0.85,
            "accepted": 383,
            "errors": 37,
            "coverage": 0.3740234375,
            "risk": 0.09660574412532637
          },
          "sweep": [
            {
              "threshold": 0.5,
              "accepted": 1024,
              "errors": 263,
              "coverage": 1.0,
              "risk": 0.2568359375
            },
            {
              "threshold": 0.51,
              "accepted": 1007,
              "errors": 251,
              "coverage": 0.9833984375,
              "risk": 0.24925521350546176
            },
            {
              "threshold": 0.52,
              "accepted": 994,
              "errors": 244,
              "coverage": 0.970703125,
              "risk": 0.2454728370221328
            },
            {
              "threshold": 0.53,
              "accepted": 975,
              "errors": 234,
              "coverage": 0.9521484375,
              "risk": 0.24
            },
            {
              "threshold": 0.54,
              "accepted": 956,
              "errors": 221,
              "coverage": 0.93359375,
              "risk": 0.23117154811715482
            },
            {
              "threshold": 0.55,
              "accepted": 928,
              "errors": 210,
              "coverage": 0.90625,
              "risk": 0.22629310344827586
            },
            {
              "threshold": 0.56,
              "accepted": 915,
              "errors": 205,
              "coverage": 0.8935546875,
              "risk": 0.22404371584699453
            },
            {
              "threshold": 0.57,
              "accepted": 889,
              "errors": 192,
              "coverage": 0.8681640625,
              "risk": 0.21597300337457817
            },
            {
              "threshold": 0.58,
              "accepted": 874,
              "errors": 185,
              "coverage": 0.853515625,
              "risk": 0.2116704805491991
            },
            {
              "threshold": 0.59,
              "accepted": 855,
              "errors": 177,
              "coverage": 0.8349609375,
              "risk": 0.20701754385964913
            },
            {
              "threshold": 0.6,
              "accepted": 844,
              "errors": 173,
              "coverage": 0.82421875,
              "risk": 0.20497630331753555
            },
            {
              "threshold": 0.61,
              "accepted": 831,
              "errors": 169,
              "coverage": 0.8115234375,
              "risk": 0.20336943441636582
            },
            {
              "threshold": 0.62,
              "accepted": 818,
              "errors": 164,
              "coverage": 0.798828125,
              "risk": 0.20048899755501223
            },
            {
              "threshold": 0.63,
              "accepted": 796,
              "errors": 157,
              "coverage": 0.77734375,
              "risk": 0.1972361809045226
            },
            {
              "threshold": 0.64,
              "accepted": 779,
              "errors": 148,
              "coverage": 0.7607421875,
              "risk": 0.18998716302952504
            },
            {
              "threshold": 0.65,
              "accepted": 764,
              "errors": 141,
              "coverage": 0.74609375,
              "risk": 0.18455497382198952
            },
            {
              "threshold": 0.66,
              "accepted": 746,
              "errors": 138,
              "coverage": 0.728515625,
              "risk": 0.18498659517426275
            },
            {
              "threshold": 0.67,
              "accepted": 734,
              "errors": 133,
              "coverage": 0.716796875,
              "risk": 0.18119891008174388
            },
            {
              "threshold": 0.68,
              "accepted": 713,
              "errors": 125,
              "coverage": 0.6962890625,
              "risk": 0.1753155680224404
            },
            {
              "threshold": 0.69,
              "accepted": 686,
              "errors": 116,
              "coverage": 0.669921875,
              "risk": 0.16909620991253643
            },
            {
              "threshold": 0.7,
              "accepted": 665,
              "errors": 111,
              "coverage": 0.6494140625,
              "risk": 0.16691729323308271
            },
            {
              "threshold": 0.71,
              "accepted": 654,
              "errors": 108,
              "coverage": 0.638671875,
              "risk": 0.1651376146788991
            },
            {
              "threshold": 0.72,
              "accepted": 635,
              "errors": 102,
              "coverage": 0.6201171875,
              "risk": 0.16062992125984252
            },
            {
              "threshold": 0.73,
              "accepted": 618,
              "errors": 97,
              "coverage": 0.603515625,
              "risk": 0.156957928802589
            },
            {
              "threshold": 0.74,
              "accepted": 601,
              "errors": 90,
              "coverage": 0.5869140625,
              "risk": 0.1497504159733777
            },
            {
              "threshold": 0.75,
              "accepted": 590,
              "errors": 84,
              "coverage": 0.576171875,
              "risk": 0.1423728813559322
            },
            {
              "threshold": 0.76,
              "accepted": 571,
              "errors": 77,
              "coverage": 0.5576171875,
              "risk": 0.13485113835376533
            },
            {
              "threshold": 0.77,
              "accepted": 546,
              "errors": 69,
              "coverage": 0.533203125,
              "risk": 0.12637362637362637
            },
            {
              "threshold": 0.78,
              "accepted": 526,
              "errors": 64,
              "coverage": 0.513671875,
              "risk": 0.12167300380228137
            },
            {
              "threshold": 0.79,
              "accepted": 507,
              "errors": 61,
              "coverage": 0.4951171875,
              "risk": 0.1203155818540434
            },
            {
              "threshold": 0.8,
              "accepted": 489,
              "errors": 57,
              "coverage": 0.4775390625,
              "risk": 0.1165644171779141
            },
            {
              "threshold": 0.81,
              "accepted": 466,
              "errors": 53,
              "coverage": 0.455078125,
              "risk": 0.11373390557939914
            },
            {
              "threshold": 0.82,
              "accepted": 451,
              "errors": 53,
              "coverage": 0.4404296875,
              "risk": 0.11751662971175167
            },
            {
              "threshold": 0.83,
              "accepted": 423,
              "errors": 47,
              "coverage": 0.4130859375,
              "risk": 0.1111111111111111
            },
            {
              "threshold": 0.84,
              "accepted": 404,
              "errors": 44,
              "coverage": 0.39453125,
              "risk": 0.10891089108910891
            },
            {
              "threshold": 0.85,
              "accepted": 383,
              "errors": 37,
              "coverage": 0.3740234375,
              "risk": 0.09660574412532637
            },
            {
              "threshold": 0.86,
              "accepted": 362,
              "errors": 36,
              "coverage": 0.353515625,
              "risk": 0.09944751381215469
            },
            {
              "threshold": 0.87,
              "accepted": 350,
              "errors": 34,
              "coverage": 0.341796875,
              "risk": 0.09714285714285714
            },
            {
              "threshold": 0.88,
              "accepted": 327,
              "errors": 33,
              "coverage": 0.3193359375,
              "risk": 0.10091743119266056
            },
            {
              "threshold": 0.89,
              "accepted": 306,
              "errors": 30,
              "coverage": 0.298828125,
              "risk": 0.09803921568627451
            },
            {
              "threshold": 0.9,
              "accepted": 285,
              "errors": 23,
              "coverage": 0.2783203125,
              "risk": 0.08070175438596491
            },
            {
              "threshold": 0.91,
              "accepted": 252,
              "errors": 19,
              "coverage": 0.24609375,
              "risk": 0.07539682539682539
            },
            {
              "threshold": 0.92,
              "accepted": 215,
              "errors": 14,
              "coverage": 0.2099609375,
              "risk": 0.06511627906976744
            },
            {
              "threshold": 0.93,
              "accepted": 190,
              "errors": 12,
              "coverage": 0.185546875,
              "risk": 0.06315789473684211
            },
            {
              "threshold": 0.94,
              "accepted": 159,
              "errors": 9,
              "coverage": 0.1552734375,
              "risk": 0.05660377358490566
            },
            {
              "threshold": 0.95,
              "accepted": 137,
              "errors": 8,
              "coverage": 0.1337890625,
              "risk": 0.058394160583941604
            },
            {
              "threshold": 0.96,
              "accepted": 113,
              "errors": 5,
              "coverage": 0.1103515625,
              "risk": 0.04424778761061947
            },
            {
              "threshold": 0.97,
              "accepted": 83,
              "errors": 3,
              "coverage": 0.0810546875,
              "risk": 0.03614457831325301
            },
            {
              "threshold": 0.98,
              "accepted": 48,
              "errors": 0,
              "coverage": 0.046875,
              "risk": 0.0
            },
            {
              "threshold": 0.99,
              "accepted": 15,
              "errors": 0,
              "coverage": 0.0146484375,
              "risk": 0.0
            }
          ]
        }
      },
      "metrics": {
        "raw": {
          "cal": {
            "n": 1024,
            "accuracy": 0.7685546875,
            "mean_confidence": 0.9024738960670572,
            "nll": 0.6413153018332829,
            "brier_sum_classes": 0.3546240615451833,
            "ece": {
              "5": 0.13391920856705714,
              "10": 0.13391920856705708,
              "15": 0.1340668435665347,
              "30": 0.1366407395972964
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 58,
                  "confidence": 0.545955338462868,
                  "accuracy": 0.5172413793103449
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 149,
                  "confidence": 0.7103222726691478,
                  "accuracy": 0.5973154362416108
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 817,
                  "confidence": 0.9628272231506941,
                  "accuracy": 0.817625458996328
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 58,
                  "confidence": 0.545955338462868,
                  "accuracy": 0.5172413793103449
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 65,
                  "confidence": 0.650870029765413,
                  "accuracy": 0.5692307692307692
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 84,
                  "confidence": 0.7563269844398951,
                  "accuracy": 0.6190476190476191
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 118,
                  "confidence": 0.8549802800514823,
                  "accuracy": 0.5508474576271186
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 699,
                  "confidence": 0.9810331448755968,
                  "accuracy": 0.8626609442060086
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 19,
                  "confidence": 0.5126841447673062,
                  "accuracy": 0.42105263157894735
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 39,
                  "confidence": 0.5621643815453213,
                  "accuracy": 0.5641025641025641
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 44,
                  "confidence": 0.635114082251044,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 38,
                  "confidence": 0.6984738017207672,
                  "accuracy": 0.6052631578947368
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 67,
                  "confidence": 0.7664327543771335,
                  "accuracy": 0.6567164179104478
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 69,
                  "confidence": 0.8347681652989215,
                  "accuracy": 0.5797101449275363
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 106,
                  "confidence": 0.90078210079836,
                  "accuracy": 0.5566037735849056
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 642,
                  "confidence": 0.9868347900683263,
                  "accuracy": 0.8862928348909658
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 19,
                  "confidence": 0.5126841447673062,
                  "accuracy": 0.42105263157894735
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 24,
                  "confidence": 0.5518768248671528,
                  "accuracy": 0.5833333333333334
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 15,
                  "confidence": 0.5786244722303906,
                  "accuracy": 0.5333333333333333
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 21,
                  "confidence": 0.6131273967331199,
                  "accuracy": 0.47619047619047616
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 23,
                  "confidence": 0.6551888820717573,
                  "accuracy": 0.5217391304347826
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 21,
                  "confidence": 0.683882491224091,
                  "accuracy": 0.7142857142857143
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 17,
                  "confidence": 0.7164983617460731,
                  "accuracy": 0.47058823529411764
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 36,
                  "confidence": 0.7498385778299238,
                  "accuracy": 0.5555555555555556
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 31,
                  "confidence": 0.7857034110126028,
                  "accuracy": 0.7741935483870968
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 32,
                  "confidence": 0.8181767617999004,
                  "accuracy": 0.5625
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 37,
                  "confidence": 0.8491174872440208,
                  "accuracy": 0.5945945945945946
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 49,
                  "confidence": 0.8834422375601908,
                  "accuracy": 0.5102040816326531
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 57,
                  "confidence": 0.9156882990206457,
                  "accuracy": 0.5964912280701754
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 94,
                  "confidence": 0.9503124669895395,
                  "accuracy": 0.7978723404255319
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 548,
                  "confidence": 0.9930995681146876,
                  "accuracy": 0.9014598540145985
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 699,
              "errors": 96,
              "coverage": 0.6826171875,
              "risk": 0.13733905579399142
            },
            "selected_policy": {
              "threshold": 0.99,
              "accepted": 409,
              "errors": 32,
              "coverage": 0.3994140625,
              "risk": 0.07823960880195599
            }
          },
          "policy": {
            "n": 1024,
            "accuracy": 0.7431640625,
            "mean_confidence": 0.8968579165914972,
            "nll": 0.7537198921598347,
            "brier_sum_classes": 0.38897883009523176,
            "ece": {
              "5": 0.15369385409149725,
              "10": 0.1536938540914971,
              "15": 0.15369385409149716,
              "30": 0.15369385409149716
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 59,
                  "confidence": 0.5509870520293564,
                  "accuracy": 0.4067796610169492
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 163,
                  "confidence": 0.6968883143716107,
                  "accuracy": 0.5828220858895705
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 802,
                  "confidence": 0.962944482889512,
                  "accuracy": 0.800498753117207
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 59,
                  "confidence": 0.5509870520293564,
                  "accuracy": 0.4067796610169492
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 88,
                  "confidence": 0.6472402027863126,
                  "accuracy": 0.5340909090909091
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 75,
                  "confidence": 0.755142098631694,
                  "accuracy": 0.64
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 120,
                  "confidence": 0.8578750241689636,
                  "accuracy": 0.625
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 682,
                  "confidence": 0.9814317776790511,
                  "accuracy": 0.8313782991202346
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 17,
                  "confidence": 0.5124846227323742,
                  "accuracy": 0.29411764705882354
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 42,
                  "confidence": 0.5665713686495634,
                  "accuracy": 0.4523809523809524
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 56,
                  "confidence": 0.6280832852039003,
                  "accuracy": 0.5357142857142857
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 56,
                  "confidence": 0.6955508093360981,
                  "accuracy": 0.5357142857142857
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 51,
                  "confidence": 0.7739075676143653,
                  "accuracy": 0.6862745098039216
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 64,
                  "confidence": 0.834416032969233,
                  "accuracy": 0.59375
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 113,
                  "confidence": 0.9011589382467665,
                  "accuracy": 0.6814159292035398
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 625,
                  "confidence": 0.9872766226327567,
                  "accuracy": 0.8432
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 17,
                  "confidence": 0.5124846227323742,
                  "accuracy": 0.29411764705882354
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 18,
                  "confidence": 0.5488138429813447,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 24,
                  "confidence": 0.5798895129007274,
                  "accuracy": 0.4166666666666667
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 38,
                  "confidence": 0.6174038762478137,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 18,
                  "confidence": 0.650628704111194,
                  "accuracy": 0.6111111111111112
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 32,
                  "confidence": 0.6807648085555339,
                  "accuracy": 0.53125
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 24,
                  "confidence": 0.7152654770435172,
                  "accuracy": 0.5416666666666666
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 18,
                  "confidence": 0.7514336608989424,
                  "accuracy": 0.6111111111111112
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 33,
                  "confidence": 0.7861660621864145,
                  "accuracy": 0.7272727272727273
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 30,
                  "confidence": 0.81743560025804,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 34,
                  "confidence": 0.8493987677144034,
                  "accuracy": 0.6764705882352942
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 56,
                  "confidence": 0.8846852998257984,
                  "accuracy": 0.6607142857142857
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 57,
                  "confidence": 0.9173435654673666,
                  "accuracy": 0.7017543859649122
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 93,
                  "confidence": 0.952748294737613,
                  "accuracy": 0.6559139784946236
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 532,
                  "confidence": 0.9933125897272086,
                  "accuracy": 0.8759398496240601
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 682,
              "errors": 115,
              "coverage": 0.666015625,
              "risk": 0.16862170087976538
            },
            "selected_policy": {
              "threshold": 0.99,
              "accepted": 389,
              "errors": 38,
              "coverage": 0.3798828125,
              "risk": 0.09768637532133675
            }
          },
          "id": {
            "n": 4096,
            "accuracy": 0.7509765625,
            "mean_confidence": 0.8975463165393871,
            "nll": 0.7136832392164179,
            "brier_sum_classes": 0.37992104359994006,
            "ece": {
              "5": 0.146569754039387,
              "10": 0.14656975403938696,
              "15": 0.14656975403938688,
              "30": 0.14656975403938696
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 263,
                  "confidence": 0.5484829885384547,
                  "accuracy": 0.4828897338403042
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 594,
                  "confidence": 0.703293154451748,
                  "accuracy": 0.5555555555555556
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 3239,
                  "confidence": 0.9615136007457169,
                  "accuracy": 0.8085828959555418
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 263,
                  "confidence": 0.5484829885384547,
                  "accuracy": 0.4828897338403042
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 276,
                  "confidence": 0.6481588667073492,
                  "accuracy": 0.5108695652173914
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 318,
                  "confidence": 0.7511455551355656,
                  "accuracy": 0.5943396226415094
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 481,
                  "confidence": 0.8556175537136201,
                  "accuracy": 0.6278586278586279
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 2758,
                  "confidence": 0.9799820556487041,
                  "accuracy": 0.8401015228426396
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 91,
                  "confidence": 0.5170277285466544,
                  "accuracy": 0.46153846153846156
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 172,
                  "confidence": 0.5651250156271398,
                  "accuracy": 0.4941860465116279
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 192,
                  "confidence": 0.632683216967064,
                  "accuracy": 0.5104166666666666
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 193,
                  "confidence": 0.7024942856475838,
                  "accuracy": 0.5129533678756477
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 209,
                  "confidence": 0.768897411275973,
                  "accuracy": 0.6363636363636364
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 275,
                  "confidence": 0.8338510076438858,
                  "accuracy": 0.6472727272727272
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 478,
                  "confidence": 0.903342123377796,
                  "accuracy": 0.6380753138075314
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 2486,
                  "confidence": 0.9868205916084962,
                  "accuracy": 0.8592115848753017
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 91,
                  "confidence": 0.5170277285466544,
                  "accuracy": 0.46153846153846156
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 84,
                  "confidence": 0.5469831452117122,
                  "accuracy": 0.4880952380952381
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 88,
                  "confidence": 0.5824422555691391,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 92,
                  "confidence": 0.6147703471425465,
                  "accuracy": 0.5108695652173914
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 100,
                  "confidence": 0.6491630572056201,
                  "accuracy": 0.51
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 84,
                  "confidence": 0.6835317803994301,
                  "accuracy": 0.5119047619047619
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 109,
                  "confidence": 0.717107592444326,
                  "accuracy": 0.5137614678899083
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 91,
                  "confidence": 0.7486139471394259,
                  "accuracy": 0.6153846153846154
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 118,
                  "confidence": 0.784539743788056,
                  "accuracy": 0.652542372881356
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 132,
                  "confidence": 0.8149486119900454,
                  "accuracy": 0.6818181818181818
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 143,
                  "confidence": 0.8512993728628149,
                  "accuracy": 0.6153846153846154
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 206,
                  "confidence": 0.8846748360882657,
                  "accuracy": 0.6019417475728155
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 272,
                  "confidence": 0.9174798483103079,
                  "accuracy": 0.6654411764705882
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 377,
                  "confidence": 0.9520745723797064,
                  "accuracy": 0.7320954907161804
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 2109,
                  "confidence": 0.9930317102662745,
                  "accuracy": 0.8819345661450925
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 2758,
              "errors": 441,
              "coverage": 0.67333984375,
              "risk": 0.1598984771573604
            },
            "selected_policy": {
              "threshold": 0.99,
              "accepted": 1542,
              "errors": 144,
              "coverage": 0.37646484375,
              "risk": 0.0933852140077821
            }
          },
          "shift": {
            "n": 4096,
            "accuracy": 0.634765625,
            "mean_confidence": 0.900668870195314,
            "nll": 1.364591235513496,
            "brier_sum_classes": 0.5998921017097705,
            "ece": {
              "5": 0.26590324519531416,
              "10": 0.26590324519531416,
              "15": 0.2659032451953141,
              "30": 0.265903245195314
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 247,
                  "confidence": 0.5496670670463725,
                  "accuracy": 0.4493927125506073
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 597,
                  "confidence": 0.7100287250544445,
                  "accuracy": 0.5443886097152428
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 3252,
                  "confidence": 0.9623261924668048,
                  "accuracy": 0.6654366543665436
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 247,
                  "confidence": 0.5496670670463725,
                  "accuracy": 0.4493927125506073
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 254,
                  "confidence": 0.6538630804246548,
                  "accuracy": 0.5590551181102362
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 343,
                  "confidence": 0.751620776762802,
                  "accuracy": 0.5335276967930029
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 485,
                  "confidence": 0.8539886724148579,
                  "accuracy": 0.5463917525773195
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 2767,
                  "confidence": 0.9813156023783315,
                  "accuracy": 0.6863028550777015
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 85,
                  "confidence": 0.5174784019970822,
                  "accuracy": 0.49411764705882355
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 162,
                  "confidence": 0.5665561814240866,
                  "accuracy": 0.42592592592592593
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 165,
                  "confidence": 0.6372378666893963,
                  "accuracy": 0.5393939393939394
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 191,
                  "confidence": 0.7025271187915377,
                  "accuracy": 0.5706806282722513
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 241,
                  "confidence": 0.7658100463260136,
                  "accuracy": 0.5269709543568465
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 305,
                  "confidence": 0.835945806211201,
                  "accuracy": 0.5540983606557377
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 413,
                  "confidence": 0.9034774740531771,
                  "accuracy": 0.559322033898305
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 2534,
                  "confidence": 0.987129088486058,
                  "accuracy": 0.6961325966850829
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 85,
                  "confidence": 0.5174784019970822,
                  "accuracy": 0.49411764705882355
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 83,
                  "confidence": 0.5515577161905495,
                  "accuracy": 0.4578313253012048
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 79,
                  "confidence": 0.5823140626188155,
                  "accuracy": 0.3924050632911392
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 68,
                  "confidence": 0.6187884139443085,
                  "accuracy": 0.5588235294117647
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 97,
                  "confidence": 0.6501715036653342,
                  "accuracy": 0.5257731958762887
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 89,
                  "confidence": 0.6846851058888977,
                  "accuracy": 0.5955056179775281
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 102,
                  "confidence": 0.7180951496575667,
                  "accuracy": 0.5490196078431373
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 124,
                  "confidence": 0.7496770531104844,
                  "accuracy": 0.532258064516129
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 117,
                  "confidence": 0.7829082613578565,
                  "accuracy": 0.5213675213675214
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 137,
                  "confidence": 0.8170131843313851,
                  "accuracy": 0.5036496350364964
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 168,
                  "confidence": 0.8513849085774794,
                  "accuracy": 0.5952380952380952
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 180,
                  "confidence": 0.8845613068154988,
                  "accuracy": 0.5333333333333333
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 233,
                  "confidence": 0.9180908221337868,
                  "accuracy": 0.5793991416309013
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 376,
                  "confidence": 0.9522277646056853,
                  "accuracy": 0.6196808510638298
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 2158,
                  "confidence": 0.9932101347228605,
                  "accuracy": 0.7094531974050047
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 2767,
              "errors": 868,
              "coverage": 0.675537109375,
              "risk": 0.3136971449222985
            },
            "selected_policy": {
              "threshold": 0.99,
              "accepted": 1597,
              "errors": 430,
              "coverage": 0.389892578125,
              "risk": 0.26925485284909206
            }
          }
        },
        "scaled": {
          "cal": {
            "n": 1024,
            "accuracy": 0.7685546875,
            "mean_confidence": 0.7772408125888447,
            "nll": 0.46494349203359564,
            "brier_sum_classes": 0.3070903521642564,
            "ece": {
              "5": 0.022333025288792167,
              "10": 0.022333025288792187,
              "15": 0.028625100358960483,
              "30": 0.041846587863742846
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 156,
                  "confidence": 0.5494475713021034,
                  "accuracy": 0.5384615384615384
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 366,
                  "confidence": 0.699912524235579,
                  "accuracy": 0.6612021857923497
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 502,
                  "confidence": 0.9044079424255516,
                  "accuracy": 0.9183266932270916
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 156,
                  "confidence": 0.5494475713021034,
                  "accuracy": 0.5384615384615384
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 185,
                  "confidence": 0.6499799955187541,
                  "accuracy": 0.5837837837837838
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 181,
                  "confidence": 0.7509485342500133,
                  "accuracy": 0.7403314917127072
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 237,
                  "confidence": 0.8538075587156448,
                  "accuracy": 0.8818565400843882
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 265,
                  "confidence": 0.949661870498185,
                  "accuracy": 0.9509433962264151
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 56,
                  "confidence": 0.5164368584918526,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 100,
                  "confidence": 0.5679335704758437,
                  "accuracy": 0.56
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 120,
                  "confidence": 0.6318323968951489,
                  "accuracy": 0.625
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 119,
                  "confidence": 0.6985818191858734,
                  "accuracy": 0.5798319327731093
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 127,
                  "confidence": 0.7654870847219301,
                  "accuracy": 0.7716535433070866
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 148,
                  "confidence": 0.8349588041516799,
                  "accuracy": 0.8918918918918919
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 165,
                  "confidence": 0.899626679973402,
                  "accuracy": 0.8848484848484849
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 189,
                  "confidence": 0.9629655126326293,
                  "accuracy": 0.9682539682539683
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 56,
                  "confidence": 0.5164368584918526,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 50,
                  "confidence": 0.5517532862881516,
                  "accuracy": 0.56
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 50,
                  "confidence": 0.584113854663536,
                  "accuracy": 0.56
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 63,
                  "confidence": 0.6158589281542833,
                  "accuracy": 0.6825396825396826
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 57,
                  "confidence": 0.6494872833982107,
                  "accuracy": 0.5614035087719298
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 65,
                  "confidence": 0.683483254516179,
                  "accuracy": 0.5076923076923077
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 54,
                  "confidence": 0.7167560173993947,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 65,
                  "confidence": 0.7487543294276169,
                  "accuracy": 0.7846153846153846
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 62,
                  "confidence": 0.783029489465968,
                  "accuracy": 0.7580645161290323
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 65,
                  "confidence": 0.8157392189451468,
                  "accuracy": 0.8769230769230769
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 83,
                  "confidence": 0.8500102865423385,
                  "accuracy": 0.9036144578313253
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 89,
                  "confidence": 0.885151555069205,
                  "accuracy": 0.8651685393258427
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 76,
                  "confidence": 0.9165778130848958,
                  "accuracy": 0.9078947368421053
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 103,
                  "confidence": 0.9476538839192812,
                  "accuracy": 0.941747572815534
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 86,
                  "confidence": 0.9813038586497788,
                  "accuracy": 1.0
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 265,
              "errors": 13,
              "coverage": 0.2587890625,
              "risk": 0.04905660377358491
            },
            "selected_policy": {
              "threshold": 0.85,
              "accepted": 397,
              "errors": 31,
              "coverage": 0.3876953125,
              "risk": 0.07808564231738035
            }
          },
          "policy": {
            "n": 1024,
            "accuracy": 0.7431640625,
            "mean_confidence": 0.7734783567337851,
            "nll": 0.5096785182254416,
            "brier_sum_classes": 0.33751547678175053,
            "ece": {
              "5": 0.030314294233785108,
              "10": 0.030314294233785014,
              "15": 0.03216201144088001,
              "30": 0.03701600484213196
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 180,
                  "confidence": 0.5497806539000513,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 355,
                  "confidence": 0.703500433825527,
                  "accuracy": 0.6732394366197183
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 489,
                  "confidence": 0.9066230380067989,
                  "accuracy": 0.8834355828220859
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 180,
                  "confidence": 0.5497806539000513,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 179,
                  "confidence": 0.6545041281790965,
                  "accuracy": 0.6536312849162011
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 176,
                  "confidence": 0.7533319037727485,
                  "accuracy": 0.6931818181818182
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 204,
                  "confidence": 0.8494455744493593,
                  "accuracy": 0.8333333333333334
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 285,
                  "confidence": 0.9475500645531766,
                  "accuracy": 0.9192982456140351
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 54,
                  "confidence": 0.5175367435447042,
                  "accuracy": 0.4074074074074074
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 126,
                  "confidence": 0.5635994726237713,
                  "accuracy": 0.5396825396825397
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 106,
                  "confidence": 0.6338608773470505,
                  "accuracy": 0.6320754716981132
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 124,
                  "confidence": 0.6981892274292648,
                  "accuracy": 0.6854838709677419
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 125,
                  "confidence": 0.7678234944643667,
                  "accuracy": 0.696
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 137,
                  "confidence": 0.8325107210946523,
                  "accuracy": 0.8394160583941606
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 168,
                  "confidence": 0.9027445143945201,
                  "accuracy": 0.8511904761904762
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 184,
                  "confidence": 0.9653457520493361,
                  "accuracy": 0.9456521739130435
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 54,
                  "confidence": 0.5175367435447042,
                  "accuracy": 0.4074074074074074
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 71,
                  "confidence": 0.5498246754573856,
                  "accuracy": 0.5352112676056338
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 55,
                  "confidence": 0.5813814835112878,
                  "accuracy": 0.5454545454545454
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 54,
                  "confidence": 0.6186921705596018,
                  "accuracy": 0.6296296296296297
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 52,
                  "confidence": 0.6496129959340167,
                  "accuracy": 0.6346153846153846
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 73,
                  "confidence": 0.6844792595242593,
                  "accuracy": 0.684931506849315
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 51,
                  "confidence": 0.7178132991364296,
                  "accuracy": 0.6862745098039216
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 60,
                  "confidence": 0.7515594109652219,
                  "accuracy": 0.6333333333333333
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 65,
                  "confidence": 0.7828364946174234,
                  "accuracy": 0.7538461538461538
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 70,
                  "confidence": 0.817033728757671,
                  "accuracy": 0.8571428571428571
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 67,
                  "confidence": 0.8486807130885134,
                  "accuracy": 0.8208955223880597
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 67,
                  "confidence": 0.8840735581746555,
                  "accuracy": 0.8208955223880597
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 101,
                  "confidence": 0.9151301982235391,
                  "accuracy": 0.8712871287128713
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 89,
                  "confidence": 0.9489483980200558,
                  "accuracy": 0.9438202247191011
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 95,
                  "confidence": 0.9807074837188728,
                  "accuracy": 0.9473684210526315
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 285,
              "errors": 23,
              "coverage": 0.2783203125,
              "risk": 0.08070175438596491
            },
            "selected_policy": {
              "threshold": 0.85,
              "accepted": 383,
              "errors": 37,
              "coverage": 0.3740234375,
              "risk": 0.09660574412532637
            }
          },
          "id": {
            "n": 4096,
            "accuracy": 0.7509765625,
            "mean_confidence": 0.7718557961631903,
            "nll": 0.4967603200612168,
            "brier_sum_classes": 0.3292385438373623,
            "ece": {
              "5": 0.020879233663190326,
              "10": 0.020879233663190402,
              "15": 0.023042466760645672,
              "30": 0.027929157758605203
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 699,
                  "confidence": 0.5494403960915788,
                  "accuracy": 0.5092989985693849
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 1468,
                  "confidence": 0.7040150438924371,
                  "accuracy": 0.6852861035422343
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 1929,
                  "confidence": 0.9040790149208483,
                  "accuracy": 0.8885432866770347
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 699,
                  "confidence": 0.5494403960915788,
                  "accuracy": 0.5092989985693849
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 698,
                  "confidence": 0.6530814645970557,
                  "accuracy": 0.6318051575931232
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 770,
                  "confidence": 0.7501860027861723,
                  "accuracy": 0.7337662337662337
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 888,
                  "confidence": 0.8518031565564016,
                  "accuracy": 0.8355855855855856
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 1041,
                  "confidence": 0.9486716779637195,
                  "accuracy": 0.9337175792507204
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 235,
                  "confidence": 0.516017275609544,
                  "accuracy": 0.4808510638297872
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 464,
                  "confidence": 0.5663680540943336,
                  "accuracy": 0.5237068965517241
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 433,
                  "confidence": 0.6341101584674633,
                  "accuracy": 0.6443418013856813
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 520,
                  "confidence": 0.69972221131823,
                  "accuracy": 0.6461538461538462
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 515,
                  "confidence": 0.76712395326642,
                  "accuracy": 0.7592233009708738
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 566,
                  "confidence": 0.8334040221294351,
                  "accuracy": 0.8250883392226148
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 667,
                  "confidence": 0.9007442115715311,
                  "accuracy": 0.8740629685157422
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 696,
                  "confidence": 0.9647490720385707,
                  "accuracy": 0.9540229885057471
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 235,
                  "confidence": 0.516017275609544,
                  "accuracy": 0.4808510638297872
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 237,
                  "confidence": 0.5495367569079745,
                  "accuracy": 0.510548523206751
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 227,
                  "confidence": 0.5839408181170962,
                  "accuracy": 0.5374449339207048
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 222,
                  "confidence": 0.6185215038145898,
                  "accuracy": 0.6621621621621622
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 211,
                  "confidence": 0.6505114917989228,
                  "accuracy": 0.6255924170616114
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 265,
                  "confidence": 0.6840798629144653,
                  "accuracy": 0.6113207547169811
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 255,
                  "confidence": 0.7159779851495932,
                  "accuracy": 0.6823529411764706
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 254,
                  "confidence": 0.7502756279671007,
                  "accuracy": 0.7204724409448819
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 261,
                  "confidence": 0.7835204077722712,
                  "accuracy": 0.7969348659003831
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 273,
                  "confidence": 0.8159382973523396,
                  "accuracy": 0.8205128205128205
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 293,
                  "confidence": 0.8496775472630428,
                  "accuracy": 0.8293515358361775
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 322,
                  "confidence": 0.8841444922261625,
                  "accuracy": 0.8540372670807453
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 345,
                  "confidence": 0.9162372829605414,
                  "accuracy": 0.8927536231884058
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 364,
                  "confidence": 0.950195701518975,
                  "accuracy": 0.9395604395604396
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 332,
                  "confidence": 0.9807051770660791,
                  "accuracy": 0.9698795180722891
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 1041,
              "errors": 69,
              "coverage": 0.254150390625,
              "risk": 0.06628242074927954
            },
            "selected_policy": {
              "threshold": 0.85,
              "accepted": 1504,
              "errors": 137,
              "coverage": 0.3671875,
              "risk": 0.09109042553191489
            }
          },
          "shift": {
            "n": 4096,
            "accuracy": 0.634765625,
            "mean_confidence": 0.7759568954719199,
            "nll": 0.7339790108958613,
            "brier_sum_classes": 0.49182804002304625,
            "ece": {
              "5": 0.14119127047192,
              "10": 0.14119127047191993,
              "15": 0.14119127047191996,
              "30": 0.14119127047191993
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 665,
                  "confidence": 0.5514559406359525,
                  "accuracy": 0.5082706766917293
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 1449,
                  "confidence": 0.7017757432025347,
                  "accuracy": 0.5824706694271912
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 1982,
                  "confidence": 0.905513719187489,
                  "accuracy": 0.715438950554995
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 665,
                  "confidence": 0.5514559406359525,
                  "accuracy": 0.5082706766917293
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 708,
                  "confidence": 0.6497132866772919,
                  "accuracy": 0.5480225988700564
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 741,
                  "confidence": 0.7515196287894064,
                  "accuracy": 0.6153846153846154
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 921,
                  "confidence": 0.8526048644380597,
                  "accuracy": 0.6634093376764386
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 1061,
                  "confidence": 0.9514411981924127,
                  "accuracy": 0.760603204524034
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 227,
                  "confidence": 0.5170003340780295,
                  "accuracy": 0.4669603524229075
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 438,
                  "confidence": 0.5693130700620906,
                  "accuracy": 0.5296803652968036
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 484,
                  "confidence": 0.6341014663926764,
                  "accuracy": 0.5516528925619835
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 454,
                  "confidence": 0.7002347872443311,
                  "accuracy": 0.5616740088105727
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 511,
                  "confidence": 0.7672433439481233,
                  "accuracy": 0.6301369863013698
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 562,
                  "confidence": 0.8332053698922862,
                  "accuracy": 0.6565836298932385
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 671,
                  "confidence": 0.8990299733095272,
                  "accuracy": 0.684053651266766
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 749,
                  "confidence": 0.9655776521487923,
                  "accuracy": 0.787716955941255
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 227,
                  "confidence": 0.5170003340780295,
                  "accuracy": 0.4669603524229075
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 202,
                  "confidence": 0.5515228257563336,
                  "accuracy": 0.5099009900990099
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 236,
                  "confidence": 0.5845403130695607,
                  "accuracy": 0.5466101694915254
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 235,
                  "confidence": 0.6164253691111089,
                  "accuracy": 0.5234042553191489
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 249,
                  "confidence": 0.6507837268792965,
                  "accuracy": 0.5783132530120482
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 224,
                  "confidence": 0.6834459697922644,
                  "accuracy": 0.5401785714285714
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 230,
                  "confidence": 0.7165856355454742,
                  "accuracy": 0.5826086956521739
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 241,
                  "confidence": 0.749263406541653,
                  "accuracy": 0.6431535269709544
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 270,
                  "confidence": 0.7832921028924172,
                  "accuracy": 0.6185185185185185
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 284,
                  "confidence": 0.8165981684065402,
                  "accuracy": 0.6619718309859155
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 278,
                  "confidence": 0.8501710001870771,
                  "accuracy": 0.6510791366906474
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 359,
                  "confidence": 0.8829739896044239,
                  "accuracy": 0.6740947075208914
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 312,
                  "confidence": 0.9175046468676424,
                  "accuracy": 0.6955128205128205
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 388,
                  "confidence": 0.9502278985715928,
                  "accuracy": 0.7422680412371134
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 361,
                  "confidence": 0.9820754482373056,
                  "accuracy": 0.8365650969529086
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 1061,
              "errors": 254,
              "coverage": 0.259033203125,
              "risk": 0.23939679547596607
            },
            "selected_policy": {
              "threshold": 0.85,
              "accepted": 1562,
              "errors": 421,
              "coverage": 0.38134765625,
              "risk": 0.26952624839948786
            }
          }
        }
      },
      "binary_rank_invariant": {
        "cal": true,
        "policy": true,
        "id": true,
        "shift": true
      }
    },
    {
      "seed": 79,
      "temperature": 3.022437768346109,
      "inverse_temperature_gradient": 9.71445146547012e-17,
      "fit_trace": [
        [
          10.025,
          0.5898792528342234
        ],
        [
          5.0375000000000005,
          0.5860163906178413
        ],
        [
          2.54375,
          0.5711685124242287
        ],
        [
          1.296875,
          0.5198598416324316
        ],
        [
          0.6734375,
          0.37131231867333336
        ],
        [
          0.36171875000000003,
          0.05935526236155861
        ],
        [
          0.205859375,
          -0.3502873251843924
        ],
        [
          0.2837890625,
          -0.10849533078668158
        ],
        [
          0.32275390625,
          -0.017031135151452974
        ],
        [
          0.34223632812500004,
          0.02286176765173823
        ],
        [
          0.3324951171875,
          0.003362045996291526
        ],
        [
          0.32762451171875,
          -0.006720021693306107
        ],
        [
          0.33005981445312504,
          -0.0016507173684519802
        ],
        [
          0.33127746582031253,
          0.000862687358668672
        ],
        [
          0.3306686401367188,
          -0.00039225369207037536
        ],
        [
          0.33097305297851565,
          0.00023565646628403297
        ],
        [
          0.33082084655761723,
          -7.818861782359077e-05
        ],
        [
          0.33089694976806644,
          7.87614121397634e-05
        ],
        [
          0.33085889816284186,
          2.9327049237692915e-07
        ],
        [
          0.33083987236022955,
          -3.894595516238525e-05
        ],
        [
          0.33084938526153573,
          -1.932591273031553e-05
        ],
        [
          0.3308541417121888,
          -9.516213720452138e-06
        ],
        [
          0.3308565199375153,
          -4.611444764712758e-06
        ],
        [
          0.3308577090501786,
          -2.1590804238982853e-06
        ],
        [
          0.33085830360651025,
          -9.32903287578779e-07
        ],
        [
          0.33085860088467606,
          -3.198159780892773e-07
        ],
        [
          0.33085874952375893,
          -1.327263798867051e-08
        ],
        [
          0.3308588238433004,
          1.3999895346478164e-07
        ],
        [
          0.33085878668352964,
          6.336316421551302e-08
        ],
        [
          0.3308587681036443,
          2.5045264764878006e-08
        ],
        [
          0.33085875881370164,
          5.88631381831517e-09
        ],
        [
          0.3308587541687303,
          -3.693161963747027e-09
        ],
        [
          0.330858756491216,
          1.0965760730008434e-09
        ],
        [
          0.3308587553299731,
          -1.2982930425176065e-09
        ],
        [
          0.33085875591059455,
          -1.0085853680008583e-10
        ],
        [
          0.33085875620090527,
          4.978588027948483e-10
        ],
        [
          0.3308587560557499,
          1.985000844251239e-10
        ],
        [
          0.3308587559831722,
          4.8820773812519036e-11
        ],
        [
          0.3308587559468834,
          -2.6018777410374838e-11
        ],
        [
          0.3308587559650278,
          1.1400880239875733e-11
        ],
        [
          0.3308587559559556,
          -7.308931238014793e-12
        ],
        [
          0.3308587559604917,
          2.046030012081701e-12
        ],
        [
          0.33085875595822367,
          -2.6313534684518913e-12
        ],
        [
          0.33085875595935765,
          -2.927727504875577e-13
        ],
        [
          0.33085875595992464,
          8.76528016835465e-13
        ],
        [
          0.33085875595964115,
          2.919123276434732e-13
        ],
        [
          0.33085875595949943,
          -3.0531133177191805e-16
        ],
        [
          0.33085875595957026,
          1.4575840534547524e-13
        ],
        [
          0.33085875595953484,
          7.267797474952431e-14
        ],
        [
          0.33085875595951714,
          3.6193270602780103e-14
        ],
        [
          0.3308587559595083,
          1.7916224059888464e-14
        ],
        [
          0.33085875595950387,
          8.819334151866087e-15
        ],
        [
          0.33085875595950165,
          4.184153024056059e-15
        ],
        [
          0.33085875595950054,
          1.880440247958859e-15
        ],
        [
          0.3308587559595,
          7.771561172376096e-16
        ],
        [
          0.3308587559594997,
          1.942890293094024e-16
        ],
        [
          0.33085875595949954,
          -1.0408340855860843e-16
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.3308587559594996,
          -2.0816681711721685e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ],
        [
          0.33085875595949965,
          9.71445146547012e-17
        ]
      ],
      "policies": {
        "raw": {
          "chosen": {
            "threshold": 0.98,
            "accepted": 475,
            "errors": 47,
            "coverage": 0.4638671875,
            "risk": 0.09894736842105263
          },
          "sweep": [
            {
              "threshold": 0.5,
              "accepted": 1024,
              "errors": 247,
              "coverage": 1.0,
              "risk": 0.2412109375
            },
            {
              "threshold": 0.51,
              "accepted": 1016,
              "errors": 243,
              "coverage": 0.9921875,
              "risk": 0.23917322834645668
            },
            {
              "threshold": 0.52,
              "accepted": 1007,
              "errors": 237,
              "coverage": 0.9833984375,
              "risk": 0.23535253227408143
            },
            {
              "threshold": 0.53,
              "accepted": 997,
              "errors": 233,
              "coverage": 0.9736328125,
              "risk": 0.2337011033099298
            },
            {
              "threshold": 0.54,
              "accepted": 990,
              "errors": 229,
              "coverage": 0.966796875,
              "risk": 0.2313131313131313
            },
            {
              "threshold": 0.55,
              "accepted": 983,
              "errors": 226,
              "coverage": 0.9599609375,
              "risk": 0.2299084435401831
            },
            {
              "threshold": 0.56,
              "accepted": 978,
              "errors": 224,
              "coverage": 0.955078125,
              "risk": 0.22903885480572597
            },
            {
              "threshold": 0.57,
              "accepted": 975,
              "errors": 223,
              "coverage": 0.9521484375,
              "risk": 0.2287179487179487
            },
            {
              "threshold": 0.58,
              "accepted": 969,
              "errors": 221,
              "coverage": 0.9462890625,
              "risk": 0.22807017543859648
            },
            {
              "threshold": 0.59,
              "accepted": 960,
              "errors": 217,
              "coverage": 0.9375,
              "risk": 0.22604166666666667
            },
            {
              "threshold": 0.6,
              "accepted": 954,
              "errors": 215,
              "coverage": 0.931640625,
              "risk": 0.22536687631027252
            },
            {
              "threshold": 0.61,
              "accepted": 950,
              "errors": 214,
              "coverage": 0.927734375,
              "risk": 0.22526315789473683
            },
            {
              "threshold": 0.62,
              "accepted": 941,
              "errors": 209,
              "coverage": 0.9189453125,
              "risk": 0.22210414452709884
            },
            {
              "threshold": 0.63,
              "accepted": 933,
              "errors": 204,
              "coverage": 0.9111328125,
              "risk": 0.21864951768488747
            },
            {
              "threshold": 0.64,
              "accepted": 926,
              "errors": 200,
              "coverage": 0.904296875,
              "risk": 0.2159827213822894
            },
            {
              "threshold": 0.65,
              "accepted": 920,
              "errors": 195,
              "coverage": 0.8984375,
              "risk": 0.21195652173913043
            },
            {
              "threshold": 0.66,
              "accepted": 915,
              "errors": 193,
              "coverage": 0.8935546875,
              "risk": 0.21092896174863388
            },
            {
              "threshold": 0.67,
              "accepted": 906,
              "errors": 188,
              "coverage": 0.884765625,
              "risk": 0.20750551876379691
            },
            {
              "threshold": 0.68,
              "accepted": 899,
              "errors": 185,
              "coverage": 0.8779296875,
              "risk": 0.20578420467185762
            },
            {
              "threshold": 0.69,
              "accepted": 894,
              "errors": 182,
              "coverage": 0.873046875,
              "risk": 0.203579418344519
            },
            {
              "threshold": 0.7,
              "accepted": 888,
              "errors": 181,
              "coverage": 0.8671875,
              "risk": 0.20382882882882883
            },
            {
              "threshold": 0.71,
              "accepted": 883,
              "errors": 179,
              "coverage": 0.8623046875,
              "risk": 0.20271800679501698
            },
            {
              "threshold": 0.72,
              "accepted": 878,
              "errors": 175,
              "coverage": 0.857421875,
              "risk": 0.19931662870159453
            },
            {
              "threshold": 0.73,
              "accepted": 875,
              "errors": 174,
              "coverage": 0.8544921875,
              "risk": 0.19885714285714284
            },
            {
              "threshold": 0.74,
              "accepted": 867,
              "errors": 170,
              "coverage": 0.8466796875,
              "risk": 0.19607843137254902
            },
            {
              "threshold": 0.75,
              "accepted": 859,
              "errors": 168,
              "coverage": 0.8388671875,
              "risk": 0.19557625145518046
            },
            {
              "threshold": 0.76,
              "accepted": 845,
              "errors": 160,
              "coverage": 0.8251953125,
              "risk": 0.1893491124260355
            },
            {
              "threshold": 0.77,
              "accepted": 835,
              "errors": 158,
              "coverage": 0.8154296875,
              "risk": 0.18922155688622755
            },
            {
              "threshold": 0.78,
              "accepted": 827,
              "errors": 155,
              "coverage": 0.8076171875,
              "risk": 0.18742442563482467
            },
            {
              "threshold": 0.79,
              "accepted": 814,
              "errors": 149,
              "coverage": 0.794921875,
              "risk": 0.18304668304668303
            },
            {
              "threshold": 0.8,
              "accepted": 801,
              "errors": 146,
              "coverage": 0.7822265625,
              "risk": 0.1822721598002497
            },
            {
              "threshold": 0.81,
              "accepted": 798,
              "errors": 144,
              "coverage": 0.779296875,
              "risk": 0.18045112781954886
            },
            {
              "threshold": 0.82,
              "accepted": 787,
              "errors": 138,
              "coverage": 0.7685546875,
              "risk": 0.17534942820838628
            },
            {
              "threshold": 0.83,
              "accepted": 774,
              "errors": 132,
              "coverage": 0.755859375,
              "risk": 0.17054263565891473
            },
            {
              "threshold": 0.84,
              "accepted": 765,
              "errors": 130,
              "coverage": 0.7470703125,
              "risk": 0.16993464052287582
            },
            {
              "threshold": 0.85,
              "accepted": 747,
              "errors": 126,
              "coverage": 0.7294921875,
              "risk": 0.1686746987951807
            },
            {
              "threshold": 0.86,
              "accepted": 738,
              "errors": 121,
              "coverage": 0.720703125,
              "risk": 0.16395663956639567
            },
            {
              "threshold": 0.87,
              "accepted": 724,
              "errors": 117,
              "coverage": 0.70703125,
              "risk": 0.16160220994475138
            },
            {
              "threshold": 0.88,
              "accepted": 707,
              "errors": 111,
              "coverage": 0.6904296875,
              "risk": 0.157001414427157
            },
            {
              "threshold": 0.89,
              "accepted": 692,
              "errors": 106,
              "coverage": 0.67578125,
              "risk": 0.1531791907514451
            },
            {
              "threshold": 0.9,
              "accepted": 673,
              "errors": 99,
              "coverage": 0.6572265625,
              "risk": 0.14710252600297177
            },
            {
              "threshold": 0.91,
              "accepted": 657,
              "errors": 92,
              "coverage": 0.6416015625,
              "risk": 0.1400304414003044
            },
            {
              "threshold": 0.92,
              "accepted": 647,
              "errors": 89,
              "coverage": 0.6318359375,
              "risk": 0.1375579598145286
            },
            {
              "threshold": 0.93,
              "accepted": 624,
              "errors": 83,
              "coverage": 0.609375,
              "risk": 0.1330128205128205
            },
            {
              "threshold": 0.94,
              "accepted": 604,
              "errors": 77,
              "coverage": 0.58984375,
              "risk": 0.12748344370860928
            },
            {
              "threshold": 0.95,
              "accepted": 582,
              "errors": 69,
              "coverage": 0.568359375,
              "risk": 0.11855670103092783
            },
            {
              "threshold": 0.96,
              "accepted": 557,
              "errors": 63,
              "coverage": 0.5439453125,
              "risk": 0.11310592459605028
            },
            {
              "threshold": 0.97,
              "accepted": 522,
              "errors": 53,
              "coverage": 0.509765625,
              "risk": 0.10153256704980843
            },
            {
              "threshold": 0.98,
              "accepted": 475,
              "errors": 47,
              "coverage": 0.4638671875,
              "risk": 0.09894736842105263
            },
            {
              "threshold": 0.99,
              "accepted": 397,
              "errors": 33,
              "coverage": 0.3876953125,
              "risk": 0.08312342569269521
            }
          ]
        },
        "scaled": {
          "chosen": {
            "threshold": 0.77,
            "accepted": 504,
            "errors": 50,
            "coverage": 0.4921875,
            "risk": 0.0992063492063492
          },
          "sweep": [
            {
              "threshold": 0.5,
              "accepted": 1024,
              "errors": 247,
              "coverage": 1.0,
              "risk": 0.2412109375
            },
            {
              "threshold": 0.51,
              "accepted": 997,
              "errors": 233,
              "coverage": 0.9736328125,
              "risk": 0.2337011033099298
            },
            {
              "threshold": 0.52,
              "accepted": 978,
              "errors": 224,
              "coverage": 0.955078125,
              "risk": 0.22903885480572597
            },
            {
              "threshold": 0.53,
              "accepted": 960,
              "errors": 217,
              "coverage": 0.9375,
              "risk": 0.22604166666666667
            },
            {
              "threshold": 0.54,
              "accepted": 941,
              "errors": 209,
              "coverage": 0.9189453125,
              "risk": 0.22210414452709884
            },
            {
              "threshold": 0.55,
              "accepted": 924,
              "errors": 198,
              "coverage": 0.90234375,
              "risk": 0.21428571428571427
            },
            {
              "threshold": 0.56,
              "accepted": 900,
              "errors": 185,
              "coverage": 0.87890625,
              "risk": 0.20555555555555555
            },
            {
              "threshold": 0.57,
              "accepted": 888,
              "errors": 181,
              "coverage": 0.8671875,
              "risk": 0.20382882882882883
            },
            {
              "threshold": 0.58,
              "accepted": 877,
              "errors": 175,
              "coverage": 0.8564453125,
              "risk": 0.19954389965792474
            },
            {
              "threshold": 0.59,
              "accepted": 859,
              "errors": 168,
              "coverage": 0.8388671875,
              "risk": 0.19557625145518046
            },
            {
              "threshold": 0.6,
              "accepted": 833,
              "errors": 158,
              "coverage": 0.8134765625,
              "risk": 0.18967587034813926
            },
            {
              "threshold": 0.61,
              "accepted": 806,
              "errors": 147,
              "coverage": 0.787109375,
              "risk": 0.18238213399503722
            },
            {
              "threshold": 0.62,
              "accepted": 793,
              "errors": 143,
              "coverage": 0.7744140625,
              "risk": 0.18032786885245902
            },
            {
              "threshold": 0.63,
              "accepted": 773,
              "errors": 132,
              "coverage": 0.7548828125,
              "risk": 0.17076326002587322
            },
            {
              "threshold": 0.64,
              "accepted": 747,
              "errors": 126,
              "coverage": 0.7294921875,
              "risk": 0.1686746987951807
            },
            {
              "threshold": 0.65,
              "accepted": 730,
              "errors": 118,
              "coverage": 0.712890625,
              "risk": 0.16164383561643836
            },
            {
              "threshold": 0.66,
              "accepted": 704,
              "errors": 110,
              "coverage": 0.6875,
              "risk": 0.15625
            },
            {
              "threshold": 0.67,
              "accepted": 683,
              "errors": 105,
              "coverage": 0.6669921875,
              "risk": 0.15373352855051245
            },
            {
              "threshold": 0.68,
              "accepted": 663,
              "errors": 95,
              "coverage": 0.6474609375,
              "risk": 0.14328808446455504
            },
            {
              "threshold": 0.69,
              "accepted": 649,
              "errors": 89,
              "coverage": 0.6337890625,
              "risk": 0.13713405238828968
            },
            {
              "threshold": 0.7,
              "accepted": 626,
              "errors": 83,
              "coverage": 0.611328125,
              "risk": 0.13258785942492013
            },
            {
              "threshold": 0.71,
              "accepted": 610,
              "errors": 78,
              "coverage": 0.595703125,
              "risk": 0.12786885245901639
            },
            {
              "threshold": 0.72,
              "accepted": 589,
              "errors": 72,
              "coverage": 0.5751953125,
              "risk": 0.12224108658743633
            },
            {
              "threshold": 0.73,
              "accepted": 578,
              "errors": 67,
              "coverage": 0.564453125,
              "risk": 0.11591695501730104
            },
            {
              "threshold": 0.74,
              "accepted": 557,
              "errors": 63,
              "coverage": 0.5439453125,
              "risk": 0.11310592459605028
            },
            {
              "threshold": 0.75,
              "accepted": 540,
              "errors": 57,
              "coverage": 0.52734375,
              "risk": 0.10555555555555556
            },
            {
              "threshold": 0.76,
              "accepted": 521,
              "errors": 53,
              "coverage": 0.5087890625,
              "risk": 0.1017274472168906
            },
            {
              "threshold": 0.77,
              "accepted": 504,
              "errors": 50,
              "coverage": 0.4921875,
              "risk": 0.0992063492063492
            },
            {
              "threshold": 0.78,
              "accepted": 483,
              "errors": 48,
              "coverage": 0.4716796875,
              "risk": 0.09937888198757763
            },
            {
              "threshold": 0.79,
              "accepted": 465,
              "errors": 47,
              "coverage": 0.4541015625,
              "risk": 0.1010752688172043
            },
            {
              "threshold": 0.8,
              "accepted": 446,
              "errors": 41,
              "coverage": 0.435546875,
              "risk": 0.09192825112107623
            },
            {
              "threshold": 0.81,
              "accepted": 423,
              "errors": 37,
              "coverage": 0.4130859375,
              "risk": 0.08747044917257683
            },
            {
              "threshold": 0.82,
              "accepted": 399,
              "errors": 34,
              "coverage": 0.3896484375,
              "risk": 0.08521303258145363
            },
            {
              "threshold": 0.83,
              "accepted": 384,
              "errors": 30,
              "coverage": 0.375,
              "risk": 0.078125
            },
            {
              "threshold": 0.84,
              "accepted": 357,
              "errors": 24,
              "coverage": 0.3486328125,
              "risk": 0.06722689075630252
            },
            {
              "threshold": 0.85,
              "accepted": 331,
              "errors": 24,
              "coverage": 0.3232421875,
              "risk": 0.07250755287009064
            },
            {
              "threshold": 0.86,
              "accepted": 305,
              "errors": 21,
              "coverage": 0.2978515625,
              "risk": 0.06885245901639345
            },
            {
              "threshold": 0.87,
              "accepted": 285,
              "errors": 18,
              "coverage": 0.2783203125,
              "risk": 0.06315789473684211
            },
            {
              "threshold": 0.88,
              "accepted": 268,
              "errors": 16,
              "coverage": 0.26171875,
              "risk": 0.05970149253731343
            },
            {
              "threshold": 0.89,
              "accepted": 242,
              "errors": 13,
              "coverage": 0.236328125,
              "risk": 0.05371900826446281
            },
            {
              "threshold": 0.9,
              "accepted": 217,
              "errors": 11,
              "coverage": 0.2119140625,
              "risk": 0.05069124423963134
            },
            {
              "threshold": 0.91,
              "accepted": 198,
              "errors": 10,
              "coverage": 0.193359375,
              "risk": 0.050505050505050504
            },
            {
              "threshold": 0.92,
              "accepted": 175,
              "errors": 9,
              "coverage": 0.1708984375,
              "risk": 0.05142857142857143
            },
            {
              "threshold": 0.93,
              "accepted": 153,
              "errors": 8,
              "coverage": 0.1494140625,
              "risk": 0.05228758169934641
            },
            {
              "threshold": 0.94,
              "accepted": 122,
              "errors": 5,
              "coverage": 0.119140625,
              "risk": 0.040983606557377046
            },
            {
              "threshold": 0.95,
              "accepted": 106,
              "errors": 3,
              "coverage": 0.103515625,
              "risk": 0.02830188679245283
            },
            {
              "threshold": 0.96,
              "accepted": 86,
              "errors": 2,
              "coverage": 0.083984375,
              "risk": 0.023255813953488372
            },
            {
              "threshold": 0.97,
              "accepted": 65,
              "errors": 2,
              "coverage": 0.0634765625,
              "risk": 0.03076923076923077
            },
            {
              "threshold": 0.98,
              "accepted": 39,
              "errors": 0,
              "coverage": 0.0380859375,
              "risk": 0.0
            },
            {
              "threshold": 0.99,
              "accepted": 9,
              "errors": 0,
              "coverage": 0.0087890625,
              "risk": 0.0
            }
          ]
        }
      },
      "metrics": {
        "raw": {
          "cal": {
            "n": 1024,
            "accuracy": 0.744140625,
            "mean_confidence": 0.8963063069599461,
            "nll": 0.7147952832528817,
            "brier_sum_classes": 0.39106982361997167,
            "ece": {
              "5": 0.15216568195994604,
              "10": 0.15216568195994598,
              "15": 0.15755572118599057,
              "30": 0.15755572118599068
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 63,
                  "confidence": 0.5515861900072087,
                  "accuracy": 0.5396825396825397
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 168,
                  "confidence": 0.7111294999555824,
                  "accuracy": 0.5238095238095238
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 793,
                  "confidence": 0.9629230420731308,
                  "accuracy": 0.807061790668348
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 63,
                  "confidence": 0.5515861900072087,
                  "accuracy": 0.5396825396825397
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 72,
                  "confidence": 0.6501843055872492,
                  "accuracy": 0.5138888888888888
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 96,
                  "confidence": 0.7568383957318323,
                  "accuracy": 0.53125
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 123,
                  "confidence": 0.8572238628304186,
                  "accuracy": 0.6504065040650406
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 670,
                  "confidence": 0.9823275182624644,
                  "accuracy": 0.835820895522388
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 16,
                  "confidence": 0.5150187447665711,
                  "accuracy": 0.6875
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 47,
                  "confidence": 0.5640346820040212,
                  "accuracy": 0.48936170212765956
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 49,
                  "confidence": 0.6347399480071713,
                  "accuracy": 0.5510204081632653
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 48,
                  "confidence": 0.7007980940337525,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 71,
                  "confidence": 0.7708336623460046,
                  "accuracy": 0.5211267605633803
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 67,
                  "confidence": 0.834380193744392,
                  "accuracy": 0.6119402985074627
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 107,
                  "confidence": 0.9014793974775679,
                  "accuracy": 0.6355140186915887
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 619,
                  "confidence": 0.9874575183409025,
                  "accuracy": 0.8578352180936996
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 16,
                  "confidence": 0.5150187447665711,
                  "accuracy": 0.6875
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 24,
                  "confidence": 0.5472551970051038,
                  "accuracy": 0.4583333333333333
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 23,
                  "confidence": 0.5815437098289785,
                  "accuracy": 0.5217391304347826
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 26,
                  "confidence": 0.6163166979110523,
                  "accuracy": 0.5384615384615384
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 23,
                  "confidence": 0.6555662307245232,
                  "accuracy": 0.5652173913043478
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 23,
                  "confidence": 0.6830875021708932,
                  "accuracy": 0.43478260869565216
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 25,
                  "confidence": 0.7170918385475828,
                  "accuracy": 0.56
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 32,
                  "confidence": 0.7531274675576429,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 39,
                  "confidence": 0.7853618221723527,
                  "accuracy": 0.5384615384615384
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 33,
                  "confidence": 0.8172320289954396,
                  "accuracy": 0.5454545454545454
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 34,
                  "confidence": 0.8510240007066106,
                  "accuracy": 0.6764705882352942
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 56,
                  "confidence": 0.884554681201201,
                  "accuracy": 0.6964285714285714
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 51,
                  "confidence": 0.9200633996633826,
                  "accuracy": 0.5686274509803921
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 80,
                  "confidence": 0.9519325853546551,
                  "accuracy": 0.65
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 539,
                  "confidence": 0.9927302356672473,
                  "accuracy": 0.8886827458256029
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 670,
              "errors": 110,
              "coverage": 0.654296875,
              "risk": 0.16417910447761194
            },
            "selected_policy": {
              "threshold": 0.98,
              "accepted": 467,
              "errors": 46,
              "coverage": 0.4560546875,
              "risk": 0.09850107066381156
            }
          },
          "policy": {
            "n": 1024,
            "accuracy": 0.7587890625,
            "mean_confidence": 0.8963421681730082,
            "nll": 0.6832588844384859,
            "brier_sum_classes": 0.3657622391351545,
            "ece": {
              "5": 0.13755310567300827,
              "10": 0.13755310567300832,
              "15": 0.14003161211188825,
              "30": 0.14003161211188822
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 70,
                  "confidence": 0.5462779530261788,
                  "accuracy": 0.5428571428571428
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 153,
                  "confidence": 0.7120110473492426,
                  "accuracy": 0.5490196078431373
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 801,
                  "confidence": 0.9621438617389436,
                  "accuracy": 0.8177278401997503
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 70,
                  "confidence": 0.5462779530261788,
                  "accuracy": 0.5428571428571428
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 66,
                  "confidence": 0.6491844518570162,
                  "accuracy": 0.48484848484848486
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 87,
                  "confidence": 0.7596726025502419,
                  "accuracy": 0.5977011494252874
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 128,
                  "confidence": 0.8577280663256924,
                  "accuracy": 0.6328125
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 673,
                  "confidence": 0.9820030323376007,
                  "accuracy": 0.8528974739970282
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 30,
                  "confidence": 0.5169484002846355,
                  "accuracy": 0.4666666666666667
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 40,
                  "confidence": 0.5682751175823363,
                  "accuracy": 0.6
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 46,
                  "confidence": 0.6346133814946847,
                  "accuracy": 0.45652173913043476
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 36,
                  "confidence": 0.6976117254147254,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 71,
                  "confidence": 0.7694570786020917,
                  "accuracy": 0.6338028169014085
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 71,
                  "confidence": 0.8369267565133313,
                  "accuracy": 0.6056338028169014
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 114,
                  "confidence": 0.9010664795295107,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 616,
                  "confidence": 0.9878796345358491,
                  "accuracy": 0.8701298701298701
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 30,
                  "confidence": 0.5169484002846355,
                  "accuracy": 0.4666666666666667
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 18,
                  "confidence": 0.5482331205198998,
                  "accuracy": 0.6111111111111112
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 22,
                  "confidence": 0.5846731151788753,
                  "accuracy": 0.5909090909090909
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 25,
                  "confidence": 0.6193632325531424,
                  "accuracy": 0.52
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 21,
                  "confidence": 0.6527683207108067,
                  "accuracy": 0.38095238095238093
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 20,
                  "confidence": 0.6826979136903788,
                  "accuracy": 0.55
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 16,
                  "confidence": 0.7162539900701586,
                  "accuracy": 0.4375
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 33,
                  "confidence": 0.7518315621589883,
                  "accuracy": 0.6060606060606061
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 38,
                  "confidence": 0.7847634481447869,
                  "accuracy": 0.6578947368421053
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 30,
                  "confidence": 0.8193708857013673,
                  "accuracy": 0.5333333333333333
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 41,
                  "confidence": 0.8497725156440364,
                  "accuracy": 0.6585365853658537
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 57,
                  "confidence": 0.8836384697761774,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 57,
                  "confidence": 0.9184944892828439,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 81,
                  "confidence": 0.9517401613579917,
                  "accuracy": 0.7160493827160493
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 535,
                  "confidence": 0.993351218325394,
                  "accuracy": 0.8934579439252337
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 673,
              "errors": 99,
              "coverage": 0.6572265625,
              "risk": 0.14710252600297177
            },
            "selected_policy": {
              "threshold": 0.98,
              "accepted": 475,
              "errors": 47,
              "coverage": 0.4638671875,
              "risk": 0.09894736842105263
            }
          },
          "id": {
            "n": 4096,
            "accuracy": 0.757568359375,
            "mean_confidence": 0.9001457879054149,
            "nll": 0.7310177655579093,
            "brier_sum_classes": 0.37874278504056813,
            "ece": {
              "5": 0.14257742853041483,
              "10": 0.14257742853041477,
              "15": 0.14342811254171464,
              "30": 0.1434281125417146
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 253,
                  "confidence": 0.5494161820752254,
                  "accuracy": 0.5059288537549407
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 586,
                  "confidence": 0.7013377376795402,
                  "accuracy": 0.5989761092150171
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 3257,
                  "confidence": 0.9631596373703828,
                  "accuracy": 0.8056493705864293
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 253,
                  "confidence": 0.5494161820752254,
                  "accuracy": 0.5059288537549407
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 288,
                  "confidence": 0.6509547453385905,
                  "accuracy": 0.5833333333333334
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 298,
                  "confidence": 0.7500300255795184,
                  "accuracy": 0.6140939597315436
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 462,
                  "confidence": 0.8555338843119709,
                  "accuracy": 0.6060606060606061
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 2795,
                  "confidence": 0.9809496545127749,
                  "accuracy": 0.8386404293381038
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 80,
                  "confidence": 0.5157224893107262,
                  "accuracy": 0.5375
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 173,
                  "confidence": 0.5649970804634331,
                  "accuracy": 0.4913294797687861
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 191,
                  "confidence": 0.6339553189860568,
                  "accuracy": 0.5549738219895288
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 207,
                  "confidence": 0.7029656862402737,
                  "accuracy": 0.6328502415458938
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 188,
                  "confidence": 0.7680029324581756,
                  "accuracy": 0.6063829787234043
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 278,
                  "confidence": 0.835455372967797,
                  "accuracy": 0.6115107913669064
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 422,
                  "confidence": 0.9038483905056509,
                  "accuracy": 0.6682464454976303
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 2557,
                  "confidence": 0.9868323521458368,
                  "accuracy": 0.8494329292139225
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 80,
                  "confidence": 0.5157224893107262,
                  "accuracy": 0.5375
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 89,
                  "confidence": 0.5486381531828174,
                  "accuracy": 0.4606741573033708
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 84,
                  "confidence": 0.5823297534155141,
                  "accuracy": 0.5238095238095238
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 95,
                  "confidence": 0.6170176660599663,
                  "accuracy": 0.49473684210526314
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 96,
                  "confidence": 0.6507165380275007,
                  "accuracy": 0.6145833333333334
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 97,
                  "confidence": 0.6844278425894555,
                  "accuracy": 0.6391752577319587
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 110,
                  "confidence": 0.7193126938232677,
                  "accuracy": 0.6272727272727273
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 84,
                  "confidence": 0.7489224847138559,
                  "accuracy": 0.6309523809523809
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 104,
                  "confidence": 0.7834140633285883,
                  "accuracy": 0.5865384615384616
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 130,
                  "confidence": 0.818306429907065,
                  "accuracy": 0.5384615384615384
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 148,
                  "confidence": 0.850518633764386,
                  "accuracy": 0.6756756756756757
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 184,
                  "confidence": 0.8858698960167554,
                  "accuracy": 0.5978260869565217
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 238,
                  "confidence": 0.91774773078278,
                  "accuracy": 0.7226890756302521
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 398,
                  "confidence": 0.9516798033562253,
                  "accuracy": 0.7010050251256281
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 2159,
                  "confidence": 0.9933125348314621,
                  "accuracy": 0.8767948124131543
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 2795,
              "errors": 451,
              "coverage": 0.682373046875,
              "risk": 0.16135957066189624
            },
            "selected_policy": {
              "threshold": 0.98,
              "accepted": 1907,
              "errors": 215,
              "coverage": 0.465576171875,
              "risk": 0.11274252753015207
            }
          },
          "shift": {
            "n": 4096,
            "accuracy": 0.64501953125,
            "mean_confidence": 0.9040236996581292,
            "nll": 1.374996607346563,
            "brier_sum_classes": 0.5947410804270153,
            "ece": {
              "5": 0.2590041684081292,
              "10": 0.259004168408129,
              "15": 0.2590041684081292,
              "30": 0.259326491316159
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 228,
                  "confidence": 0.5498680927631924,
                  "accuracy": 0.5087719298245614
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 579,
                  "confidence": 0.705979223645671,
                  "accuracy": 0.5578583765112263
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 3289,
                  "confidence": 0.9634384853021726,
                  "accuracy": 0.669808452417148
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 228,
                  "confidence": 0.5498680927631924,
                  "accuracy": 0.5087719298245614
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 263,
                  "confidence": 0.6516931801486527,
                  "accuracy": 0.6121673003802282
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 316,
                  "confidence": 0.7511603294675565,
                  "accuracy": 0.5126582278481012
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 455,
                  "confidence": 0.8550979380956133,
                  "accuracy": 0.5516483516483517
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 2834,
                  "confidence": 0.9808326098536843,
                  "accuracy": 0.6887791107974595
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 75,
                  "confidence": 0.5167652563794998,
                  "accuracy": 0.49333333333333335
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 153,
                  "confidence": 0.5660949733434338,
                  "accuracy": 0.5163398692810458
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 168,
                  "confidence": 0.6337292183056864,
                  "accuracy": 0.6190476190476191
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 198,
                  "confidence": 0.7007674023185096,
                  "accuracy": 0.5505050505050505
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 213,
                  "confidence": 0.7678099350066823,
                  "accuracy": 0.5164319248826291
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 265,
                  "confidence": 0.8351952529147971,
                  "accuracy": 0.5660377358490566
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 435,
                  "confidence": 0.9022381023568163,
                  "accuracy": 0.5816091954022988
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 2589,
                  "confidence": 0.9868477642376243,
                  "accuracy": 0.6952491309385863
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 75,
                  "confidence": 0.5167652563794998,
                  "accuracy": 0.49333333333333335
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 78,
                  "confidence": 0.5499911884006108,
                  "accuracy": 0.5256410256410257
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 75,
                  "confidence": 0.5828429096839698,
                  "accuracy": 0.5066666666666667
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 80,
                  "confidence": 0.6167485335544372,
                  "accuracy": 0.625
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 88,
                  "confidence": 0.6491662044431856,
                  "accuracy": 0.6136363636363636
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 95,
                  "confidence": 0.6834610284604248,
                  "accuracy": 0.6
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 103,
                  "confidence": 0.7167295917992673,
                  "accuracy": 0.5048543689320388
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 95,
                  "confidence": 0.7496884960203678,
                  "accuracy": 0.5473684210526316
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 118,
                  "confidence": 0.7823992291058338,
                  "accuracy": 0.4915254237288136
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 119,
                  "confidence": 0.8176110593238414,
                  "accuracy": 0.6302521008403361
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 146,
                  "confidence": 0.8495275750882472,
                  "accuracy": 0.5136986301369864
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 190,
                  "confidence": 0.8828569463741202,
                  "accuracy": 0.531578947368421
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 245,
                  "confidence": 0.917268386588295,
                  "accuracy": 0.6204081632653061
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 383,
                  "confidence": 0.951830490897652,
                  "accuracy": 0.6318537859007833
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 2206,
                  "confidence": 0.9929273724376286,
                  "accuracy": 0.7062556663644606
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 2834,
              "errors": 882,
              "coverage": 0.69189453125,
              "risk": 0.3112208892025406
            },
            "selected_policy": {
              "threshold": 0.98,
              "accepted": 1926,
              "errors": 540,
              "coverage": 0.47021484375,
              "risk": 0.2803738317757009
            }
          }
        },
        "scaled": {
          "cal": {
            "n": 1024,
            "accuracy": 0.744140625,
            "mean_confidence": 0.7550545120936536,
            "nll": 0.49542375549076706,
            "brier_sum_classes": 0.3308022470465425,
            "ece": {
              "5": 0.018921637138483487,
              "10": 0.01892163713848345,
              "15": 0.026526582351869173,
              "30": 0.03943119147297187
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 200,
                  "confidence": 0.5519597192424323,
                  "accuracy": 0.515
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 397,
                  "confidence": 0.7024781978800195,
                  "accuracy": 0.6826196473551638
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 427,
                  "confidence": 0.8990633067378152,
                  "accuracy": 0.9086651053864169
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 200,
                  "confidence": 0.5519597192424323,
                  "accuracy": 0.515
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 192,
                  "confidence": 0.6477974946458583,
                  "accuracy": 0.6302083333333334
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 205,
                  "confidence": 0.7536913443237215,
                  "accuracy": 0.7317073170731707
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 221,
                  "confidence": 0.8532647440693468,
                  "accuracy": 0.8642533936651584
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 206,
                  "confidence": 0.9481967162025314,
                  "accuracy": 0.9563106796116505
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 62,
                  "confidence": 0.516906381823634,
                  "accuracy": 0.5483870967741935
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 138,
                  "confidence": 0.5677083201117473,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 138,
                  "confidence": 0.6340209585850409,
                  "accuracy": 0.6376811594202898
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 118,
                  "confidence": 0.70191332356514,
                  "accuracy": 0.6186440677966102
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 141,
                  "confidence": 0.7699516318648623,
                  "accuracy": 0.7801418439716312
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 137,
                  "confidence": 0.8353484024532289,
                  "accuracy": 0.8467153284671532
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 144,
                  "confidence": 0.8961477622019203,
                  "accuracy": 0.9027777777777778
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 146,
                  "confidence": 0.961726185506015,
                  "accuracy": 0.9726027397260274
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 62,
                  "confidence": 0.516906381823634,
                  "accuracy": 0.5483870967741935
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 65,
                  "confidence": 0.5489173342292145,
                  "accuracy": 0.5230769230769231
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 73,
                  "confidence": 0.5844400198701669,
                  "accuracy": 0.4794520547945205
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 67,
                  "confidence": 0.6155399880596413,
                  "accuracy": 0.582089552238806
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 71,
                  "confidence": 0.6514607476723899,
                  "accuracy": 0.6901408450704225
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 54,
                  "confidence": 0.683004197912392,
                  "accuracy": 0.6111111111111112
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 64,
                  "confidence": 0.7178678983346464,
                  "accuracy": 0.625
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 61,
                  "confidence": 0.7518316872104704,
                  "accuracy": 0.7049180327868853
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 80,
                  "confidence": 0.7837680896638359,
                  "accuracy": 0.8375
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 61,
                  "confidence": 0.8164306732139222,
                  "accuracy": 0.8524590163934426
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 76,
                  "confidence": 0.8505323693426726,
                  "accuracy": 0.8421052631578947
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 84,
                  "confidence": 0.8824854440861103,
                  "accuracy": 0.8928571428571429
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 60,
                  "confidence": 0.9152750075640543,
                  "accuracy": 0.9166666666666666
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 90,
                  "confidence": 0.9505359489305711,
                  "accuracy": 0.9777777777777777
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 56,
                  "confidence": 0.9797104942879786,
                  "accuracy": 0.9642857142857143
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 206,
              "errors": 9,
              "coverage": 0.201171875,
              "risk": 0.043689320388349516
            },
            "selected_policy": {
              "threshold": 0.77,
              "accepted": 495,
              "errors": 50,
              "coverage": 0.4833984375,
              "risk": 0.10101010101010101
            }
          },
          "policy": {
            "n": 1024,
            "accuracy": 0.7587890625,
            "mean_confidence": 0.7567355981943611,
            "nll": 0.4829633607592666,
            "brier_sum_classes": 0.31872654810662204,
            "ece": {
              "5": 0.007398596390982164,
              "10": 0.012058895700847875,
              "15": 0.0245377042972775,
              "30": 0.03040009169095645
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 191,
                  "confidence": 0.5483597257994541,
                  "accuracy": 0.5340314136125655
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 387,
                  "confidence": 0.6965264677422816,
                  "accuracy": 0.6976744186046512
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 446,
                  "confidence": 0.8982170446346794,
                  "accuracy": 0.9080717488789237
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 191,
                  "confidence": 0.5483597257994541,
                  "accuracy": 0.5340314136125655
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 207,
                  "confidence": 0.6492080833171555,
                  "accuracy": 0.6376811594202898
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 180,
                  "confidence": 0.7509426098311763,
                  "accuracy": 0.7666666666666667
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 229,
                  "confidence": 0.8504093154707939,
                  "accuracy": 0.868995633187773
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 217,
                  "confidence": 0.9486685191901161,
                  "accuracy": 0.9493087557603687
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 70,
                  "confidence": 0.5154044304166397,
                  "accuracy": 0.5428571428571428
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 121,
                  "confidence": 0.5674247727151319,
                  "accuracy": 0.5289256198347108
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 141,
                  "confidence": 0.6334821609890366,
                  "accuracy": 0.6312056737588653
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 121,
                  "confidence": 0.6979180914214141,
                  "accuracy": 0.6528925619834711
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 125,
                  "confidence": 0.7662933540385414,
                  "accuracy": 0.816
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 152,
                  "confidence": 0.8334751585926492,
                  "accuracy": 0.8552631578947368
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 153,
                  "confidence": 0.900863517550599,
                  "accuracy": 0.9150326797385621
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 141,
                  "confidence": 0.9651380114591683,
                  "accuracy": 0.9574468085106383
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 70,
                  "confidence": 0.5154044304166397,
                  "accuracy": 0.5428571428571428
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 60,
                  "confidence": 0.5491523913139869,
                  "accuracy": 0.45
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 61,
                  "confidence": 0.5853976068801924,
                  "accuracy": 0.6065573770491803
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 66,
                  "confidence": 0.6154962016416423,
                  "accuracy": 0.5909090909090909
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 75,
                  "confidence": 0.6493098052147437,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 66,
                  "confidence": 0.6828043719272276,
                  "accuracy": 0.6515151515151515
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 55,
                  "confidence": 0.7160545548144379,
                  "accuracy": 0.6545454545454545
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 63,
                  "confidence": 0.750010735065185,
                  "accuracy": 0.8095238095238095
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 62,
                  "confidence": 0.7828385958985643,
                  "accuracy": 0.8225806451612904
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 74,
                  "confidence": 0.8163382669778528,
                  "accuracy": 0.8108108108108109
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 78,
                  "confidence": 0.8497332352528406,
                  "accuracy": 0.8974358974358975
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 77,
                  "confidence": 0.8838377809964827,
                  "accuracy": 0.8961038961038961
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 76,
                  "confidence": 0.9181132769541116,
                  "accuracy": 0.9342105263157895
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 69,
                  "confidence": 0.9491018276679799,
                  "accuracy": 0.9420289855072463
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 72,
                  "confidence": 0.9805060209257239,
                  "accuracy": 0.9722222222222222
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 217,
              "errors": 11,
              "coverage": 0.2119140625,
              "risk": 0.05069124423963134
            },
            "selected_policy": {
              "threshold": 0.77,
              "accepted": 504,
              "errors": 50,
              "coverage": 0.4921875,
              "risk": 0.0992063492063492
            }
          },
          "id": {
            "n": 4096,
            "accuracy": 0.757568359375,
            "mean_confidence": 0.7591675033062076,
            "nll": 0.4964657053004936,
            "brier_sum_classes": 0.32786313214737006,
            "ece": {
              "5": 0.008683295184834933,
              "10": 0.008683295184834912,
              "15": 0.017652781329504156,
              "30": 0.020286852753401356
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 760,
                  "confidence": 0.5493311292533833,
                  "accuracy": 0.5684210526315789
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 1549,
                  "confidence": 0.7029744321495901,
                  "accuracy": 0.6907682375726275
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 1787,
                  "confidence": 0.8971186569165865,
                  "accuracy": 0.8959149412423055
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 760,
                  "confidence": 0.5493311292533833,
                  "accuracy": 0.5684210526315789
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 736,
                  "confidence": 0.6516573423995433,
                  "accuracy": 0.6385869565217391
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 813,
                  "confidence": 0.7494312317265082,
                  "accuracy": 0.7380073800738007
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 904,
                  "confidence": 0.8511777166175305,
                  "accuracy": 0.8495575221238938
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 883,
                  "confidence": 0.9441521903597877,
                  "accuracy": 0.9433748584371461
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 252,
                  "confidence": 0.5163783048421474,
                  "accuracy": 0.5079365079365079
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 508,
                  "confidence": 0.5656778059298233,
                  "accuracy": 0.5984251968503937
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 466,
                  "confidence": 0.6337578131700402,
                  "accuracy": 0.6158798283261803
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 551,
                  "confidence": 0.7002500688995247,
                  "accuracy": 0.676950998185118
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 532,
                  "confidence": 0.7664256889075907,
                  "accuracy": 0.7706766917293233
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 584,
                  "confidence": 0.8335086678364141,
                  "accuracy": 0.8202054794520548
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 676,
                  "confidence": 0.9009162110903851,
                  "accuracy": 0.9215976331360947
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 527,
                  "confidence": 0.9627374178299317,
                  "accuracy": 0.9468690702087287
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 252,
                  "confidence": 0.5163783048421474,
                  "accuracy": 0.5079365079365079
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 266,
                  "confidence": 0.5500260213793535,
                  "accuracy": 0.5639097744360902
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 242,
                  "confidence": 0.5828818335762073,
                  "accuracy": 0.6363636363636364
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 236,
                  "confidence": 0.6179990131576878,
                  "accuracy": 0.576271186440678
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 230,
                  "confidence": 0.6499277123131497,
                  "accuracy": 0.6565217391304348
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 270,
                  "confidence": 0.6825506039586117,
                  "accuracy": 0.6777777777777778
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 281,
                  "confidence": 0.7172566722235336,
                  "accuracy": 0.6761565836298933
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 276,
                  "confidence": 0.7504420809549591,
                  "accuracy": 0.7717391304347826
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 256,
                  "confidence": 0.7836580162315216,
                  "accuracy": 0.76953125
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 296,
                  "confidence": 0.8166841217807554,
                  "accuracy": 0.8175675675675675
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 288,
                  "confidence": 0.8508005623936187,
                  "accuracy": 0.8229166666666666
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 320,
                  "confidence": 0.883423730643068,
                  "accuracy": 0.903125
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 356,
                  "confidence": 0.9166397890205578,
                  "accuracy": 0.9382022471910112
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 310,
                  "confidence": 0.9503021335825802,
                  "accuracy": 0.9354838709677419
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 217,
                  "confidence": 0.9805021096118623,
                  "accuracy": 0.9631336405529954
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 883,
              "errors": 50,
              "coverage": 0.215576171875,
              "risk": 0.056625141562853906
            },
            "selected_policy": {
              "threshold": 0.77,
              "accepted": 2020,
              "errors": 236,
              "coverage": 0.4931640625,
              "risk": 0.11683168316831684
            }
          },
          "shift": {
            "n": 4096,
            "accuracy": 0.64501953125,
            "mean_confidence": 0.7622267717937887,
            "nll": 0.706825443341804,
            "brier_sum_classes": 0.4787331857965528,
            "ece": {
              "5": 0.11720724054378888,
              "10": 0.1172072405437888,
              "15": 0.11775608484933467,
              "30": 0.12497429433043047
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 722,
                  "confidence": 0.5513295063637295,
                  "accuracy": 0.5484764542936288
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 1591,
                  "confidence": 0.7046847512045598,
                  "accuracy": 0.5964802011313639
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 1783,
                  "confidence": 0.8989722459373483,
                  "accuracy": 0.7274256870443073
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 722,
                  "confidence": 0.5513295063637295,
                  "accuracy": 0.5484764542936288
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 746,
                  "confidence": 0.651582776837078,
                  "accuracy": 0.5589812332439679
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 845,
                  "confidence": 0.7515653108236617,
                  "accuracy": 0.6295857988165681
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 895,
                  "confidence": 0.85070556571296,
                  "accuracy": 0.6726256983240223
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 888,
                  "confidence": 0.947619406749091,
                  "accuracy": 0.7826576576576577
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 225,
                  "confidence": 0.5163730521438695,
                  "accuracy": 0.5022222222222222
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 497,
                  "confidence": 0.5671548629018953,
                  "accuracy": 0.5694164989939637
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 492,
                  "confidence": 0.6349193054903928,
                  "accuracy": 0.540650406504065
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 512,
                  "confidence": 0.70043201757375,
                  "accuracy": 0.626953125
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 587,
                  "confidence": 0.7668687357196271,
                  "accuracy": 0.616695059625213
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 612,
                  "confidence": 0.8351342048402629,
                  "accuracy": 0.6715686274509803
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 586,
                  "confidence": 0.9010290408862663,
                  "accuracy": 0.7150170648464164
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 585,
                  "confidence": 0.9636963473242716,
                  "accuracy": 0.7982905982905983
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 225,
                  "confidence": 0.5163730521438695,
                  "accuracy": 0.5022222222222222
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 242,
                  "confidence": 0.5499713795246192,
                  "accuracy": 0.6157024793388429
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 255,
                  "confidence": 0.583462325557977,
                  "accuracy": 0.5254901960784314
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 227,
                  "confidence": 0.617005262836201,
                  "accuracy": 0.5726872246696035
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 265,
                  "confidence": 0.6502645420281346,
                  "accuracy": 0.5132075471698113
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 254,
                  "confidence": 0.6838600520440429,
                  "accuracy": 0.594488188976378
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 258,
                  "confidence": 0.7167470534053219,
                  "accuracy": 0.6589147286821705
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 294,
                  "confidence": 0.7504649210685108,
                  "accuracy": 0.6326530612244898
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 293,
                  "confidence": 0.7833285360862763,
                  "accuracy": 0.6006825938566553
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 293,
                  "confidence": 0.8179698415168576,
                  "accuracy": 0.6450511945392492
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 319,
                  "confidence": 0.8508995918426383,
                  "accuracy": 0.6959247648902821
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 283,
                  "confidence": 0.8843793213811245,
                  "accuracy": 0.6749116607773852
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 303,
                  "confidence": 0.9165797690049304,
                  "accuracy": 0.7524752475247525
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 337,
                  "confidence": 0.9509890255631022,
                  "accuracy": 0.7863501483679525
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 248,
                  "confidence": 0.9809639579432803,
                  "accuracy": 0.8145161290322581
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 888,
              "errors": 193,
              "coverage": 0.216796875,
              "risk": 0.21734234234234234
            },
            "selected_policy": {
              "threshold": 0.77,
              "accepted": 2047,
              "errors": 593,
              "coverage": 0.499755859375,
              "risk": 0.2896922325354177
            }
          }
        }
      },
      "binary_rank_invariant": {
        "cal": true,
        "policy": true,
        "id": true,
        "shift": true
      }
    },
    {
      "seed": 80,
      "temperature": 3.052890994930422,
      "inverse_temperature_gradient": -4.163336342344337e-17,
      "fit_trace": [
        [
          10.025,
          0.610721106230304
        ],
        [
          5.0375000000000005,
          0.6072324912227091
        ],
        [
          2.54375,
          0.592940936942506
        ],
        [
          1.296875,
          0.5400452500315216
        ],
        [
          0.6734375,
          0.3847910769514455
        ],
        [
          0.36171875000000003,
          0.0663422661378148
        ],
        [
          0.205859375,
          -0.3374627029891468
        ],
        [
          0.2837890625,
          -0.10099176213681262
        ],
        [
          0.32275390625,
          -0.010153622825958462
        ],
        [
          0.34223632812500004,
          0.029723682339697573
        ],
        [
          0.3324951171875,
          0.01021178530934612
        ],
        [
          0.32762451171875,
          0.00013828608213398846
        ],
        [
          0.325189208984375,
          -0.00498004709684801
        ],
        [
          0.3264068603515625,
          -0.0024140154450978182
        ],
        [
          0.3270156860351563,
          -0.0011361534262624776
        ],
        [
          0.3273200988769531,
          -0.0004985064831943484
        ],
        [
          0.32747230529785154,
          -0.00018000348134471905
        ],
        [
          0.3275484085083008,
          -2.0832029557583953e-05
        ],
        [
          0.32758646011352544,
          5.873369258187905e-05
        ],
        [
          0.3275674343109131,
          1.8952498237807813e-05
        ],
        [
          0.32755792140960693,
          -9.393489595055371e-07
        ],
        [
          0.32756267786026005,
          9.006678812012447e-06
        ],
        [
          0.3275602996349335,
          4.0336909697819e-06
        ],
        [
          0.3275591105222702,
          1.5471775159925372e-06
        ],
        [
          0.32755851596593855,
          3.039159059900487e-07
        ],
        [
          0.32755821868777274,
          -3.1771611984365844e-07
        ],
        [
          0.3275583673268556,
          -6.90000531711199e-09
        ],
        [
          0.3275584416463971,
          1.4850797579180064e-07
        ],
        [
          0.3275584044866263,
          7.080399148928773e-08
        ],
        [
          0.32755838590674097,
          3.1951994799994665e-08
        ],
        [
          0.3275583766167983,
          1.2525995234102805e-08
        ],
        [
          0.32755837197182697,
          2.8129950174760054e-09
        ],
        [
          0.32755836964934126,
          -2.043505170634674e-09
        ],
        [
          0.32755837081058414,
          3.847449789318169e-10
        ],
        [
          0.3275583702299627,
          -8.293800368708304e-10
        ],
        [
          0.3275583705202734,
          -2.2231750468337808e-10
        ],
        [
          0.3275583706654288,
          8.121377181868894e-11
        ],
        [
          0.3275583705928511,
          -7.055188377957933e-11
        ],
        [
          0.32755837062913995,
          5.3309301417669985e-12
        ],
        [
          0.3275583706109955,
          -3.261042130775493e-11
        ],
        [
          0.32755837062006776,
          -1.3639686602395784e-11
        ],
        [
          0.32755837062460386,
          -4.154371291420489e-12
        ],
        [
          0.3275583706268719,
          5.882169751281197e-13
        ],
        [
          0.3275583706257379,
          -1.783045933123617e-12
        ],
        [
          0.3275583706263049,
          -5.973416206117577e-13
        ],
        [
          0.3275583706265884,
          -4.6351811278100286e-15
        ],
        [
          0.3275583706267301,
          2.9178048865929895e-13
        ],
        [
          0.32755837062665927,
          1.4362816491697572e-13
        ],
        [
          0.32755837062662385,
          6.960404475009341e-14
        ],
        [
          0.3275583706266061,
          3.243932900076629e-14
        ],
        [
          0.3275583706265972,
          1.3891665595622271e-14
        ],
        [
          0.32755837062659277,
          4.551914400963142e-15
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659166,
          2.2690183065776637e-15
        ],
        [
          0.3275583706265911,
          1.0755285551056204e-15
        ],
        [
          0.3275583706265908,
          5.828670879282072e-16
        ],
        [
          0.32755837062659066,
          1.5959455978986625e-16
        ],
        [
          0.3275583706265906,
          5.551115123125783e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ],
        [
          0.32755837062659054,
          -4.163336342344337e-17
        ]
      ],
      "policies": {
        "raw": {
          "chosen": {
            "threshold": 1.01,
            "accepted": 0,
            "errors": 0,
            "coverage": 0.0,
            "risk": null
          },
          "sweep": [
            {
              "threshold": 0.5,
              "accepted": 1024,
              "errors": 260,
              "coverage": 1.0,
              "risk": 0.25390625
            },
            {
              "threshold": 0.51,
              "accepted": 1022,
              "errors": 259,
              "coverage": 0.998046875,
              "risk": 0.2534246575342466
            },
            {
              "threshold": 0.52,
              "accepted": 1013,
              "errors": 254,
              "coverage": 0.9892578125,
              "risk": 0.25074037512339586
            },
            {
              "threshold": 0.53,
              "accepted": 1007,
              "errors": 251,
              "coverage": 0.9833984375,
              "risk": 0.24925521350546176
            },
            {
              "threshold": 0.54,
              "accepted": 1000,
              "errors": 249,
              "coverage": 0.9765625,
              "risk": 0.249
            },
            {
              "threshold": 0.55,
              "accepted": 995,
              "errors": 247,
              "coverage": 0.9716796875,
              "risk": 0.24824120603015076
            },
            {
              "threshold": 0.56,
              "accepted": 988,
              "errors": 245,
              "coverage": 0.96484375,
              "risk": 0.2479757085020243
            },
            {
              "threshold": 0.57,
              "accepted": 977,
              "errors": 238,
              "coverage": 0.9541015625,
              "risk": 0.2436028659160696
            },
            {
              "threshold": 0.58,
              "accepted": 972,
              "errors": 237,
              "coverage": 0.94921875,
              "risk": 0.24382716049382716
            },
            {
              "threshold": 0.59,
              "accepted": 969,
              "errors": 236,
              "coverage": 0.9462890625,
              "risk": 0.2435500515995872
            },
            {
              "threshold": 0.6,
              "accepted": 963,
              "errors": 234,
              "coverage": 0.9404296875,
              "risk": 0.24299065420560748
            },
            {
              "threshold": 0.61,
              "accepted": 954,
              "errors": 229,
              "coverage": 0.931640625,
              "risk": 0.240041928721174
            },
            {
              "threshold": 0.62,
              "accepted": 945,
              "errors": 226,
              "coverage": 0.9228515625,
              "risk": 0.23915343915343915
            },
            {
              "threshold": 0.63,
              "accepted": 940,
              "errors": 224,
              "coverage": 0.91796875,
              "risk": 0.23829787234042554
            },
            {
              "threshold": 0.64,
              "accepted": 936,
              "errors": 223,
              "coverage": 0.9140625,
              "risk": 0.23824786324786323
            },
            {
              "threshold": 0.65,
              "accepted": 930,
              "errors": 220,
              "coverage": 0.908203125,
              "risk": 0.23655913978494625
            },
            {
              "threshold": 0.66,
              "accepted": 926,
              "errors": 218,
              "coverage": 0.904296875,
              "risk": 0.23542116630669546
            },
            {
              "threshold": 0.67,
              "accepted": 915,
              "errors": 216,
              "coverage": 0.8935546875,
              "risk": 0.2360655737704918
            },
            {
              "threshold": 0.68,
              "accepted": 903,
              "errors": 208,
              "coverage": 0.8818359375,
              "risk": 0.23034330011074197
            },
            {
              "threshold": 0.69,
              "accepted": 899,
              "errors": 205,
              "coverage": 0.8779296875,
              "risk": 0.22803114571746386
            },
            {
              "threshold": 0.7,
              "accepted": 891,
              "errors": 202,
              "coverage": 0.8701171875,
              "risk": 0.22671156004489337
            },
            {
              "threshold": 0.71,
              "accepted": 879,
              "errors": 197,
              "coverage": 0.8583984375,
              "risk": 0.2241183162684869
            },
            {
              "threshold": 0.72,
              "accepted": 878,
              "errors": 197,
              "coverage": 0.857421875,
              "risk": 0.224373576309795
            },
            {
              "threshold": 0.73,
              "accepted": 866,
              "errors": 192,
              "coverage": 0.845703125,
              "risk": 0.22170900692840648
            },
            {
              "threshold": 0.74,
              "accepted": 860,
              "errors": 191,
              "coverage": 0.83984375,
              "risk": 0.22209302325581395
            },
            {
              "threshold": 0.75,
              "accepted": 853,
              "errors": 189,
              "coverage": 0.8330078125,
              "risk": 0.22157092614302462
            },
            {
              "threshold": 0.76,
              "accepted": 846,
              "errors": 186,
              "coverage": 0.826171875,
              "risk": 0.2198581560283688
            },
            {
              "threshold": 0.77,
              "accepted": 842,
              "errors": 183,
              "coverage": 0.822265625,
              "risk": 0.2173396674584323
            },
            {
              "threshold": 0.78,
              "accepted": 835,
              "errors": 179,
              "coverage": 0.8154296875,
              "risk": 0.21437125748502994
            },
            {
              "threshold": 0.79,
              "accepted": 824,
              "errors": 171,
              "coverage": 0.8046875,
              "risk": 0.20752427184466019
            },
            {
              "threshold": 0.8,
              "accepted": 816,
              "errors": 168,
              "coverage": 0.796875,
              "risk": 0.20588235294117646
            },
            {
              "threshold": 0.81,
              "accepted": 803,
              "errors": 167,
              "coverage": 0.7841796875,
              "risk": 0.20797011207970112
            },
            {
              "threshold": 0.82,
              "accepted": 793,
              "errors": 164,
              "coverage": 0.7744140625,
              "risk": 0.2068095838587642
            },
            {
              "threshold": 0.83,
              "accepted": 783,
              "errors": 158,
              "coverage": 0.7646484375,
              "risk": 0.20178799489144317
            },
            {
              "threshold": 0.84,
              "accepted": 772,
              "errors": 156,
              "coverage": 0.75390625,
              "risk": 0.20207253886010362
            },
            {
              "threshold": 0.85,
              "accepted": 757,
              "errors": 150,
              "coverage": 0.7392578125,
              "risk": 0.19815059445178335
            },
            {
              "threshold": 0.86,
              "accepted": 744,
              "errors": 144,
              "coverage": 0.7265625,
              "risk": 0.1935483870967742
            },
            {
              "threshold": 0.87,
              "accepted": 732,
              "errors": 139,
              "coverage": 0.71484375,
              "risk": 0.18989071038251365
            },
            {
              "threshold": 0.88,
              "accepted": 722,
              "errors": 134,
              "coverage": 0.705078125,
              "risk": 0.18559556786703602
            },
            {
              "threshold": 0.89,
              "accepted": 706,
              "errors": 131,
              "coverage": 0.689453125,
              "risk": 0.18555240793201133
            },
            {
              "threshold": 0.9,
              "accepted": 695,
              "errors": 125,
              "coverage": 0.6787109375,
              "risk": 0.17985611510791366
            },
            {
              "threshold": 0.91,
              "accepted": 676,
              "errors": 120,
              "coverage": 0.66015625,
              "risk": 0.17751479289940827
            },
            {
              "threshold": 0.92,
              "accepted": 658,
              "errors": 115,
              "coverage": 0.642578125,
              "risk": 0.17477203647416414
            },
            {
              "threshold": 0.93,
              "accepted": 633,
              "errors": 104,
              "coverage": 0.6181640625,
              "risk": 0.16429699842022116
            },
            {
              "threshold": 0.94,
              "accepted": 608,
              "errors": 94,
              "coverage": 0.59375,
              "risk": 0.15460526315789475
            },
            {
              "threshold": 0.95,
              "accepted": 585,
              "errors": 91,
              "coverage": 0.5712890625,
              "risk": 0.15555555555555556
            },
            {
              "threshold": 0.96,
              "accepted": 550,
              "errors": 82,
              "coverage": 0.537109375,
              "risk": 0.14909090909090908
            },
            {
              "threshold": 0.97,
              "accepted": 513,
              "errors": 70,
              "coverage": 0.5009765625,
              "risk": 0.1364522417153996
            },
            {
              "threshold": 0.98,
              "accepted": 465,
              "errors": 57,
              "coverage": 0.4541015625,
              "risk": 0.12258064516129032
            },
            {
              "threshold": 0.99,
              "accepted": 394,
              "errors": 44,
              "coverage": 0.384765625,
              "risk": 0.1116751269035533
            }
          ]
        },
        "scaled": {
          "chosen": {
            "threshold": 0.83,
            "accepted": 367,
            "errors": 36,
            "coverage": 0.3583984375,
            "risk": 0.09809264305177112
          },
          "sweep": [
            {
              "threshold": 0.5,
              "accepted": 1024,
              "errors": 260,
              "coverage": 1.0,
              "risk": 0.25390625
            },
            {
              "threshold": 0.51,
              "accepted": 1007,
              "errors": 251,
              "coverage": 0.9833984375,
              "risk": 0.24925521350546176
            },
            {
              "threshold": 0.52,
              "accepted": 988,
              "errors": 245,
              "coverage": 0.96484375,
              "risk": 0.2479757085020243
            },
            {
              "threshold": 0.53,
              "accepted": 969,
              "errors": 236,
              "coverage": 0.9462890625,
              "risk": 0.2435500515995872
            },
            {
              "threshold": 0.54,
              "accepted": 945,
              "errors": 226,
              "coverage": 0.9228515625,
              "risk": 0.23915343915343915
            },
            {
              "threshold": 0.55,
              "accepted": 930,
              "errors": 220,
              "coverage": 0.908203125,
              "risk": 0.23655913978494625
            },
            {
              "threshold": 0.56,
              "accepted": 908,
              "errors": 210,
              "coverage": 0.88671875,
              "risk": 0.23127753303964757
            },
            {
              "threshold": 0.57,
              "accepted": 886,
              "errors": 201,
              "coverage": 0.865234375,
              "risk": 0.22686230248307
            },
            {
              "threshold": 0.58,
              "accepted": 867,
              "errors": 193,
              "coverage": 0.8466796875,
              "risk": 0.22260668973471742
            },
            {
              "threshold": 0.59,
              "accepted": 852,
              "errors": 189,
              "coverage": 0.83203125,
              "risk": 0.22183098591549297
            },
            {
              "threshold": 0.6,
              "accepted": 839,
              "errors": 181,
              "coverage": 0.8193359375,
              "risk": 0.21573301549463647
            },
            {
              "threshold": 0.61,
              "accepted": 819,
              "errors": 168,
              "coverage": 0.7998046875,
              "risk": 0.20512820512820512
            },
            {
              "threshold": 0.62,
              "accepted": 796,
              "errors": 164,
              "coverage": 0.77734375,
              "risk": 0.20603015075376885
            },
            {
              "threshold": 0.63,
              "accepted": 778,
              "errors": 156,
              "coverage": 0.759765625,
              "risk": 0.20051413881748073
            },
            {
              "threshold": 0.64,
              "accepted": 754,
              "errors": 147,
              "coverage": 0.736328125,
              "risk": 0.19496021220159152
            },
            {
              "threshold": 0.65,
              "accepted": 734,
              "errors": 139,
              "coverage": 0.716796875,
              "risk": 0.1893732970027248
            },
            {
              "threshold": 0.66,
              "accepted": 715,
              "errors": 133,
              "coverage": 0.6982421875,
              "risk": 0.18601398601398603
            },
            {
              "threshold": 0.67,
              "accepted": 699,
              "errors": 127,
              "coverage": 0.6826171875,
              "risk": 0.18168812589413447
            },
            {
              "threshold": 0.68,
              "accepted": 676,
              "errors": 120,
              "coverage": 0.66015625,
              "risk": 0.17751479289940827
            },
            {
              "threshold": 0.69,
              "accepted": 658,
              "errors": 115,
              "coverage": 0.642578125,
              "risk": 0.17477203647416414
            },
            {
              "threshold": 0.7,
              "accepted": 633,
              "errors": 104,
              "coverage": 0.6181640625,
              "risk": 0.16429699842022116
            },
            {
              "threshold": 0.71,
              "accepted": 612,
              "errors": 97,
              "coverage": 0.59765625,
              "risk": 0.15849673202614378
            },
            {
              "threshold": 0.72,
              "accepted": 589,
              "errors": 93,
              "coverage": 0.5751953125,
              "risk": 0.15789473684210525
            },
            {
              "threshold": 0.73,
              "accepted": 570,
              "errors": 89,
              "coverage": 0.556640625,
              "risk": 0.156140350877193
            },
            {
              "threshold": 0.74,
              "accepted": 550,
              "errors": 82,
              "coverage": 0.537109375,
              "risk": 0.14909090909090908
            },
            {
              "threshold": 0.75,
              "accepted": 525,
              "errors": 74,
              "coverage": 0.5126953125,
              "risk": 0.14095238095238094
            },
            {
              "threshold": 0.76,
              "accepted": 508,
              "errors": 68,
              "coverage": 0.49609375,
              "risk": 0.13385826771653545
            },
            {
              "threshold": 0.77,
              "accepted": 486,
              "errors": 63,
              "coverage": 0.474609375,
              "risk": 0.12962962962962962
            },
            {
              "threshold": 0.78,
              "accepted": 469,
              "errors": 58,
              "coverage": 0.4580078125,
              "risk": 0.12366737739872068
            },
            {
              "threshold": 0.79,
              "accepted": 447,
              "errors": 55,
              "coverage": 0.4365234375,
              "risk": 0.12304250559284116
            },
            {
              "threshold": 0.8,
              "accepted": 437,
              "errors": 54,
              "coverage": 0.4267578125,
              "risk": 0.12356979405034325
            },
            {
              "threshold": 0.81,
              "accepted": 410,
              "errors": 49,
              "coverage": 0.400390625,
              "risk": 0.11951219512195121
            },
            {
              "threshold": 0.82,
              "accepted": 392,
              "errors": 43,
              "coverage": 0.3828125,
              "risk": 0.1096938775510204
            },
            {
              "threshold": 0.83,
              "accepted": 367,
              "errors": 36,
              "coverage": 0.3583984375,
              "risk": 0.09809264305177112
            },
            {
              "threshold": 0.84,
              "accepted": 351,
              "errors": 34,
              "coverage": 0.3427734375,
              "risk": 0.09686609686609686
            },
            {
              "threshold": 0.85,
              "accepted": 335,
              "errors": 30,
              "coverage": 0.3271484375,
              "risk": 0.08955223880597014
            },
            {
              "threshold": 0.86,
              "accepted": 309,
              "errors": 26,
              "coverage": 0.3017578125,
              "risk": 0.08414239482200647
            },
            {
              "threshold": 0.87,
              "accepted": 285,
              "errors": 24,
              "coverage": 0.2783203125,
              "risk": 0.08421052631578947
            },
            {
              "threshold": 0.88,
              "accepted": 250,
              "errors": 17,
              "coverage": 0.244140625,
              "risk": 0.068
            },
            {
              "threshold": 0.89,
              "accepted": 225,
              "errors": 15,
              "coverage": 0.2197265625,
              "risk": 0.06666666666666667
            },
            {
              "threshold": 0.9,
              "accepted": 195,
              "errors": 12,
              "coverage": 0.1904296875,
              "risk": 0.06153846153846154
            },
            {
              "threshold": 0.91,
              "accepted": 173,
              "errors": 11,
              "coverage": 0.1689453125,
              "risk": 0.06358381502890173
            },
            {
              "threshold": 0.92,
              "accepted": 152,
              "errors": 8,
              "coverage": 0.1484375,
              "risk": 0.05263157894736842
            },
            {
              "threshold": 0.93,
              "accepted": 131,
              "errors": 7,
              "coverage": 0.1279296875,
              "risk": 0.05343511450381679
            },
            {
              "threshold": 0.94,
              "accepted": 109,
              "errors": 4,
              "coverage": 0.1064453125,
              "risk": 0.03669724770642202
            },
            {
              "threshold": 0.95,
              "accepted": 88,
              "errors": 4,
              "coverage": 0.0859375,
              "risk": 0.045454545454545456
            },
            {
              "threshold": 0.96,
              "accepted": 66,
              "errors": 2,
              "coverage": 0.064453125,
              "risk": 0.030303030303030304
            },
            {
              "threshold": 0.97,
              "accepted": 46,
              "errors": 2,
              "coverage": 0.044921875,
              "risk": 0.043478260869565216
            },
            {
              "threshold": 0.98,
              "accepted": 24,
              "errors": 0,
              "coverage": 0.0234375,
              "risk": 0.0
            },
            {
              "threshold": 0.99,
              "accepted": 9,
              "errors": 0,
              "coverage": 0.0087890625,
              "risk": 0.0
            }
          ]
        }
      },
      "metrics": {
        "raw": {
          "cal": {
            "n": 1024,
            "accuracy": 0.7529296875,
            "mean_confidence": 0.8985124651670818,
            "nll": 0.7323446436656194,
            "brier_sum_classes": 0.38297548521669916,
            "ece": {
              "5": 0.14558277766708172,
              "10": 0.14558277766708183,
              "15": 0.14558277766708178,
              "30": 0.14692012458767417
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 56,
                  "confidence": 0.5469019272409102,
                  "accuracy": 0.5178571428571429
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 155,
                  "confidence": 0.706393444475417,
                  "accuracy": 0.6
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 813,
                  "confidence": 0.9593594987846384,
                  "accuracy": 0.7982779827798278
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 56,
                  "confidence": 0.5469019272409102,
                  "accuracy": 0.5178571428571429
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 75,
                  "confidence": 0.6544396359057746,
                  "accuracy": 0.5333333333333333
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 80,
                  "confidence": 0.7551001400094567,
                  "accuracy": 0.6625
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 129,
                  "confidence": 0.8535706887856412,
                  "accuracy": 0.5658914728682171
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 684,
                  "confidence": 0.9793108971616424,
                  "accuracy": 0.8421052631578947
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 20,
                  "confidence": 0.5174592048477634,
                  "accuracy": 0.45
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 36,
                  "confidence": 0.5632589952371031,
                  "accuracy": 0.5555555555555556
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 47,
                  "confidence": 0.6342962849838499,
                  "accuracy": 0.48936170212765956
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 52,
                  "confidence": 0.7022837113214148,
                  "accuracy": 0.6153846153846154
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 56,
                  "confidence": 0.770719741263127,
                  "accuracy": 0.6785714285714286
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 80,
                  "confidence": 0.8359370943092139,
                  "accuracy": 0.575
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 118,
                  "confidence": 0.9031290190344761,
                  "accuracy": 0.6610169491525424
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 615,
                  "confidence": 0.9862033832863509,
                  "accuracy": 0.8536585365853658
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 20,
                  "confidence": 0.5174592048477634,
                  "accuracy": 0.45
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 20,
                  "confidence": 0.5481022725939512,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 16,
                  "confidence": 0.5822048985410428,
                  "accuracy": 0.625
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 18,
                  "confidence": 0.6111839179875352,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 29,
                  "confidence": 0.6486418920850108,
                  "accuracy": 0.4827586206896552
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 28,
                  "confidence": 0.6882516892390054,
                  "accuracy": 0.6071428571428571
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 24,
                  "confidence": 0.7186544037508925,
                  "accuracy": 0.625
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 24,
                  "confidence": 0.7491774872298048,
                  "accuracy": 0.7083333333333334
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 32,
                  "confidence": 0.7868764317881185,
                  "accuracy": 0.65625
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 34,
                  "confidence": 0.8152708725048995,
                  "accuracy": 0.47058823529411764
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 46,
                  "confidence": 0.8512121278167509,
                  "accuracy": 0.6521739130434783
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 49,
                  "confidence": 0.8823602307879714,
                  "accuracy": 0.5510204081632653
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 69,
                  "confidence": 0.9178778686588055,
                  "accuracy": 0.7391304347826086
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 99,
                  "confidence": 0.9505632523248028,
                  "accuracy": 0.7575757575757576
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 516,
                  "confidence": 0.9930413153894386,
                  "accuracy": 0.872093023255814
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 684,
              "errors": 108,
              "coverage": 0.66796875,
              "risk": 0.15789473684210525
            },
            "selected_policy": {
              "threshold": 1.01,
              "accepted": 0,
              "errors": 0,
              "coverage": 0.0,
              "risk": null
            }
          },
          "policy": {
            "n": 1024,
            "accuracy": 0.74609375,
            "mean_confidence": 0.8989002612874829,
            "nll": 0.7791659293568259,
            "brier_sum_classes": 0.4035205820789507,
            "ece": {
              "5": 0.15556427452657104,
              "10": 0.15556427452657096,
              "15": 0.15620483466685328,
              "30": 0.15620483466685328
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 61,
                  "confidence": 0.5506233642883093,
                  "accuracy": 0.5737704918032787
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 147,
                  "confidence": 0.7013028532223291,
                  "accuracy": 0.5510204081632653
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 816,
                  "confidence": 0.9605322584719524,
                  "accuracy": 0.7941176470588235
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 61,
                  "confidence": 0.5506233642883093,
                  "accuracy": 0.5737704918032787
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 72,
                  "confidence": 0.650957282389339,
                  "accuracy": 0.5555555555555556
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 75,
                  "confidence": 0.7496346012219997,
                  "accuracy": 0.5466666666666666
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 121,
                  "confidence": 0.8509945701402809,
                  "accuracy": 0.6446280991735537
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 695,
                  "confidence": 0.9796028488145887,
                  "accuracy": 0.8201438848920863
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 18,
                  "confidence": 0.5182203773235838,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 43,
                  "confidence": 0.5641874053433107,
                  "accuracy": 0.6046511627906976
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 42,
                  "confidence": 0.62997975913054,
                  "accuracy": 0.5952380952380952
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 60,
                  "confidence": 0.6985791237891485,
                  "accuracy": 0.5666666666666667
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 45,
                  "confidence": 0.7715027136189063,
                  "accuracy": 0.4888888888888889
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 79,
                  "confidence": 0.8337525909132261,
                  "accuracy": 0.6329113924050633
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 114,
                  "confidence": 0.904827931978316,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 623,
                  "confidence": 0.986801739944527,
                  "accuracy": 0.8378812199036918
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 18,
                  "confidence": 0.5182203773235838,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 26,
                  "confidence": 0.5519613569223993,
                  "accuracy": 0.5769230769230769
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 17,
                  "confidence": 0.5828860676341161,
                  "accuracy": 0.6470588235294118
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 23,
                  "confidence": 0.6137570810302057,
                  "accuracy": 0.5652173913043478
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 19,
                  "confidence": 0.6496177378835766,
                  "accuracy": 0.631578947368421
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 30,
                  "confidence": 0.6803258149516574,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 30,
                  "confidence": 0.7168324326266396,
                  "accuracy": 0.6333333333333333
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 19,
                  "confidence": 0.7523606418137075,
                  "accuracy": 0.5789473684210527
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 26,
                  "confidence": 0.7854911507073208,
                  "accuracy": 0.4230769230769231
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 37,
                  "confidence": 0.8151552207293654,
                  "accuracy": 0.7027027027027027
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 42,
                  "confidence": 0.8501359884561507,
                  "accuracy": 0.5714285714285714
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 42,
                  "confidence": 0.8834259120197416,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 72,
                  "confidence": 0.9173124436208179,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 101,
                  "confidence": 0.952166375319598,
                  "accuracy": 0.7128712871287128
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 522,
                  "confidence": 0.9935032185405381,
                  "accuracy": 0.8620689655172413
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 695,
              "errors": 125,
              "coverage": 0.6787109375,
              "risk": 0.17985611510791366
            },
            "selected_policy": {
              "threshold": 1.01,
              "accepted": 0,
              "errors": 0,
              "coverage": 0.0,
              "risk": null
            }
          },
          "id": {
            "n": 4096,
            "accuracy": 0.7587890625,
            "mean_confidence": 0.9018215755785539,
            "nll": 0.7157998485533649,
            "brier_sum_classes": 0.3765443214373413,
            "ece": {
              "5": 0.14303251307855394,
              "10": 0.14303251307855375,
              "15": 0.14536903154212902,
              "30": 0.14550503694189784
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 239,
                  "confidence": 0.5478907300817436,
                  "accuracy": 0.5271966527196653
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 573,
                  "confidence": 0.707059854397931,
                  "accuracy": 0.5497382198952879
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 3284,
                  "confidence": 0.9615621170859335,
                  "accuracy": 0.8121193666260658
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 239,
                  "confidence": 0.5478907300817436,
                  "accuracy": 0.5271966527196653
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 261,
                  "confidence": 0.6523669781128196,
                  "accuracy": 0.5134099616858238
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 312,
                  "confidence": 0.7528125489825914,
                  "accuracy": 0.5801282051282052
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 482,
                  "confidence": 0.8529814678763333,
                  "accuracy": 0.6825726141078838
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 2802,
                  "confidence": 0.9802401588129238,
                  "accuracy": 0.8344039971448965
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 99,
                  "confidence": 0.5173213150161435,
                  "accuracy": 0.5656565656565656
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 140,
                  "confidence": 0.5695076735924182,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 168,
                  "confidence": 0.6353540701482293,
                  "accuracy": 0.49404761904761907
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 195,
                  "confidence": 0.7012786340265521,
                  "accuracy": 0.5333333333333333
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 210,
                  "confidence": 0.7697927578568299,
                  "accuracy": 0.6095238095238096
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 306,
                  "confidence": 0.8355868109270912,
                  "accuracy": 0.6535947712418301
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 408,
                  "confidence": 0.9029712929847098,
                  "accuracy": 0.7009803921568627
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 2570,
                  "confidence": 0.9858630898166358,
                  "accuracy": 0.8486381322957198
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 99,
                  "confidence": 0.5173213150161435,
                  "accuracy": 0.5656565656565656
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 63,
                  "confidence": 0.5511343006551317,
                  "accuracy": 0.5555555555555556
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 77,
                  "confidence": 0.5845404332683796,
                  "accuracy": 0.45454545454545453
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 77,
                  "confidence": 0.6168867537406747,
                  "accuracy": 0.5064935064935064
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 91,
                  "confidence": 0.6509802609546216,
                  "accuracy": 0.4835164835164835
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 93,
                  "confidence": 0.6830999731456281,
                  "accuracy": 0.5483870967741935
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 102,
                  "confidence": 0.7178532954179826,
                  "accuracy": 0.5196078431372549
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 86,
                  "confidence": 0.750584092938656,
                  "accuracy": 0.5930232558139535
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 124,
                  "confidence": 0.7831148964291117,
                  "accuracy": 0.6209677419354839
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 135,
                  "confidence": 0.816885739569986,
                  "accuracy": 0.6592592592592592
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 171,
                  "confidence": 0.850350814630069,
                  "accuracy": 0.6491228070175439
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 176,
                  "confidence": 0.8832244509812658,
                  "accuracy": 0.7329545454545454
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 232,
                  "confidence": 0.917951655883874,
                  "accuracy": 0.6767241379310345
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 427,
                  "confidence": 0.9513764818714804,
                  "accuracy": 0.7447306791569087
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 2143,
                  "confidence": 0.9927346631216201,
                  "accuracy": 0.8693420438637424
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 2802,
              "errors": 464,
              "coverage": 0.68408203125,
              "risk": 0.1655960028551035
            },
            "selected_policy": {
              "threshold": 1.01,
              "accepted": 0,
              "errors": 0,
              "coverage": 0.0,
              "risk": null
            }
          },
          "shift": {
            "n": 4096,
            "accuracy": 0.629150390625,
            "mean_confidence": 0.9018554937169523,
            "nll": 1.4106862047123923,
            "brier_sum_classes": 0.617504727208706,
            "ece": {
              "5": 0.2727051030919523,
              "10": 0.27270510309195234,
              "15": 0.27647849807974917,
              "30": 0.2764784980797492
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 240,
                  "confidence": 0.5503275663083043,
                  "accuracy": 0.5458333333333333
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 578,
                  "confidence": 0.7025151540518517,
                  "accuracy": 0.5207612456747405
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 3278,
                  "confidence": 0.9627418326139943,
                  "accuracy": 0.6543624161073825
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 240,
                  "confidence": 0.5503275663083043,
                  "accuracy": 0.5458333333333333
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 286,
                  "confidence": 0.6512646127247351,
                  "accuracy": 0.534965034965035
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 292,
                  "confidence": 0.7527126020640276,
                  "accuracy": 0.5068493150684932
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 475,
                  "confidence": 0.8529852125685466,
                  "accuracy": 0.5305263157894737
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 2803,
                  "confidence": 0.9813413311946535,
                  "accuracy": 0.6753478415982875
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 74,
                  "confidence": 0.5171903657431332,
                  "accuracy": 0.6216216216216216
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 166,
                  "confidence": 0.5650995713795252,
                  "accuracy": 0.5120481927710844
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 184,
                  "confidence": 0.6331820231134405,
                  "accuracy": 0.5489130434782609
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 196,
                  "confidence": 0.6994852761671211,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 198,
                  "confidence": 0.7699452154562701,
                  "accuracy": 0.5151515151515151
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 293,
                  "confidence": 0.8335401579989554,
                  "accuracy": 0.5494880546075085
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 414,
                  "confidence": 0.9030432871025987,
                  "accuracy": 0.5483091787439613
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 2571,
                  "confidence": 0.9870791676991456,
                  "accuracy": 0.6833916763905096
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 74,
                  "confidence": 0.5171903657431332,
                  "accuracy": 0.6216216216216216
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 87,
                  "confidence": 0.5497903487333107,
                  "accuracy": 0.4827586206896552
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 79,
                  "confidence": 0.5819590950532046,
                  "accuracy": 0.5443037974683544
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 94,
                  "confidence": 0.616658034893311,
                  "accuracy": 0.574468085106383
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 90,
                  "confidence": 0.6504404108100204,
                  "accuracy": 0.5222222222222223
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 102,
                  "confidence": 0.6838841861411884,
                  "accuracy": 0.5098039215686274
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 94,
                  "confidence": 0.7164141185356865,
                  "accuracy": 0.48936170212765956
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 86,
                  "confidence": 0.7515072203606112,
                  "accuracy": 0.46511627906976744
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 112,
                  "confidence": 0.784102961690437,
                  "accuracy": 0.5535714285714286
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 145,
                  "confidence": 0.8161112289747028,
                  "accuracy": 0.5172413793103449
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 148,
                  "confidence": 0.8506157979213651,
                  "accuracy": 0.581081081081081
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 182,
                  "confidence": 0.8842896136064051,
                  "accuracy": 0.5
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 232,
                  "confidence": 0.9177552206211645,
                  "accuracy": 0.5862068965517241
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 387,
                  "confidence": 0.952627390267036,
                  "accuracy": 0.5736434108527132
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 2184,
                  "confidence": 0.9931839469419232,
                  "accuracy": 0.7028388278388278
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 2803,
              "errors": 910,
              "coverage": 0.684326171875,
              "risk": 0.32465215840171247
            },
            "selected_policy": {
              "threshold": 1.01,
              "accepted": 0,
              "errors": 0,
              "coverage": 0.0,
              "risk": null
            }
          }
        },
        "scaled": {
          "cal": {
            "n": 1024,
            "accuracy": 0.7529296875,
            "mean_confidence": 0.7511776648882509,
            "nll": 0.5043636161881874,
            "brier_sum_classes": 0.333781709254587,
            "ece": {
              "5": 0.004794565471006717,
              "10": 0.015026191958300553,
              "15": 0.02993120877431414,
              "30": 0.03869350618467906
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 183,
                  "confidence": 0.5499433820684737,
                  "accuracy": 0.5628415300546448
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 418,
                  "confidence": 0.6961926028303786,
                  "accuracy": 0.6985645933014354
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 423,
                  "confidence": 0.8925715885199523,
                  "accuracy": 0.8888888888888888
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 183,
                  "confidence": 0.5499433820684737,
                  "accuracy": 0.5628415300546448
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 216,
                  "confidence": 0.6492527442661781,
                  "accuracy": 0.625
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 202,
                  "confidence": 0.746385718918831,
                  "accuracy": 0.7772277227722773
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 237,
                  "confidence": 0.8523621183540167,
                  "accuracy": 0.8481012658227848
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 186,
                  "confidence": 0.9438062359894511,
                  "accuracy": 0.9408602150537635
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 56,
                  "confidence": 0.5154463479985563,
                  "accuracy": 0.5178571428571429
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 127,
                  "confidence": 0.5651546726819809,
                  "accuracy": 0.5826771653543307
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 145,
                  "confidence": 0.6325699210450854,
                  "accuracy": 0.5793103448275863
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 145,
                  "confidence": 0.6995356779504334,
                  "accuracy": 0.7379310344827587
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 128,
                  "confidence": 0.7644780947558445,
                  "accuracy": 0.7890625
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 157,
                  "confidence": 0.8360394792158458,
                  "accuracy": 0.8535031847133758
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 153,
                  "confidence": 0.9000333644686006,
                  "accuracy": 0.8562091503267973
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 113,
                  "confidence": 0.9610130879943022,
                  "accuracy": 0.9823008849557522
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 56,
                  "confidence": 0.5154463479985563,
                  "accuracy": 0.5178571428571429
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 67,
                  "confidence": 0.5504686335909652,
                  "accuracy": 0.5074626865671642
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 60,
                  "confidence": 0.5815540830002812,
                  "accuracy": 0.6666666666666666
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 72,
                  "confidence": 0.6159257501047982,
                  "accuracy": 0.6111111111111112
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 73,
                  "confidence": 0.6489860896437246,
                  "accuracy": 0.547945205479452
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 71,
                  "confidence": 0.6833232987317899,
                  "accuracy": 0.7183098591549296
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 74,
                  "confidence": 0.7150907985521048,
                  "accuracy": 0.7567567567567568
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 73,
                  "confidence": 0.7501042978662372,
                  "accuracy": 0.7671232876712328
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 55,
                  "confidence": 0.783556043354778,
                  "accuracy": 0.8181818181818182
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 66,
                  "confidence": 0.8168144967538525,
                  "accuracy": 0.8787878787878788
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 91,
                  "confidence": 0.8499828730893794,
                  "accuracy": 0.8351648351648352
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 80,
                  "confidence": 0.8843952976626767,
                  "accuracy": 0.8375
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 73,
                  "confidence": 0.9171709719271475,
                  "accuracy": 0.8767123287671232
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 73,
                  "confidence": 0.949835925629829,
                  "accuracy": 0.9863013698630136
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 40,
                  "confidence": 0.9814114093094662,
                  "accuracy": 0.975
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 186,
              "errors": 11,
              "coverage": 0.181640625,
              "risk": 0.05913978494623656
            },
            "selected_policy": {
              "threshold": 0.83,
              "accepted": 364,
              "errors": 39,
              "coverage": 0.35546875,
              "risk": 0.10714285714285714
            }
          },
          "policy": {
            "n": 1024,
            "accuracy": 0.74609375,
            "mean_confidence": 0.7544934306872371,
            "nll": 0.515801233472922,
            "brier_sum_classes": 0.3442723150226027,
            "ece": {
              "5": 0.017251414431179987,
              "10": 0.017251414431179977,
              "15": 0.017878071988122978,
              "30": 0.027454374699712906
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 185,
                  "confidence": 0.5484752017464929,
                  "accuracy": 0.572972972972973
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 402,
                  "confidence": 0.6971192337826057,
                  "accuracy": 0.6840796019900498
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 437,
                  "confidence": 0.894488395240325,
                  "accuracy": 0.8764302059496567
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 185,
                  "confidence": 0.5484752017464929,
                  "accuracy": 0.572972972972973
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 206,
                  "confidence": 0.6500000336803486,
                  "accuracy": 0.6262135922330098
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 196,
                  "confidence": 0.7466424747064064,
                  "accuracy": 0.7448979591836735
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 242,
                  "confidence": 0.8531710117567737,
                  "accuracy": 0.8264462809917356
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 195,
                  "confidence": 0.9457643275635015,
                  "accuracy": 0.9384615384615385
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 61,
                  "confidence": 0.5166753033198427,
                  "accuracy": 0.5737704918032787
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 124,
                  "confidence": 0.5641187001660548,
                  "accuracy": 0.5725806451612904
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 136,
                  "confidence": 0.6325370878187027,
                  "accuracy": 0.6102941176470589
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 145,
                  "confidence": 0.7012355264196221,
                  "accuracy": 0.7034482758620689
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 121,
                  "confidence": 0.7647746835241216,
                  "accuracy": 0.743801652892562
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 144,
                  "confidence": 0.8330084785259744,
                  "accuracy": 0.7916666666666666
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 171,
                  "confidence": 0.8973217763354568,
                  "accuracy": 0.8947368421052632
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 122,
                  "confidence": 0.9630834758927755,
                  "accuracy": 0.9508196721311475
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 61,
                  "confidence": 0.5166753033198427,
                  "accuracy": 0.5737704918032787
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 66,
                  "confidence": 0.5495347353145076,
                  "accuracy": 0.5606060606060606
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 58,
                  "confidence": 0.580714246376436,
                  "accuracy": 0.5862068965517241
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 69,
                  "confidence": 0.6162207647844304,
                  "accuracy": 0.6231884057971014
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 67,
                  "confidence": 0.6493404652719086,
                  "accuracy": 0.5970149253731343
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 70,
                  "confidence": 0.6839280427829748,
                  "accuracy": 0.6571428571428571
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 75,
                  "confidence": 0.7173891778138262,
                  "accuracy": 0.7466666666666667
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 64,
                  "confidence": 0.7502020825942877,
                  "accuracy": 0.671875
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 57,
                  "confidence": 0.7811369021120051,
                  "accuracy": 0.8245614035087719
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 71,
                  "confidence": 0.8145020641571885,
                  "accuracy": 0.7464788732394366
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 73,
                  "confidence": 0.8510078678435605,
                  "accuracy": 0.8356164383561644
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 98,
                  "confidence": 0.8827975911979482,
                  "accuracy": 0.8775510204081632
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 73,
                  "confidence": 0.9168199974789616,
                  "accuracy": 0.9178082191780822
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 71,
                  "confidence": 0.9503191811235338,
                  "accuracy": 0.9436619718309859
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 51,
                  "confidence": 0.9808533764538767,
                  "accuracy": 0.9607843137254902
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 195,
              "errors": 12,
              "coverage": 0.1904296875,
              "risk": 0.06153846153846154
            },
            "selected_policy": {
              "threshold": 0.83,
              "accepted": 367,
              "errors": 36,
              "coverage": 0.3583984375,
              "risk": 0.09809264305177112
            }
          },
          "id": {
            "n": 4096,
            "accuracy": 0.7587890625,
            "mean_confidence": 0.7557266570838022,
            "nll": 0.49404624603506886,
            "brier_sum_classes": 0.32724847130009754,
            "ece": {
              "5": 0.007256684717082256,
              "10": 0.00795334798679386,
              "15": 0.011460759171983805,
              "30": 0.014101999608197989
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 718,
                  "confidence": 0.5495680835768957,
                  "accuracy": 0.5376044568245125
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 1661,
                  "confidence": 0.702087776759713,
                  "accuracy": 0.7140276941601444
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 1717,
                  "confidence": 0.8938256879494227,
                  "accuracy": 0.8945835760046593
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 718,
                  "confidence": 0.5495680835768957,
                  "accuracy": 0.5376044568245125
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 783,
                  "confidence": 0.6490399581334734,
                  "accuracy": 0.6704980842911877
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 878,
                  "confidence": 0.7493957972430225,
                  "accuracy": 0.7528473804100227
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 930,
                  "confidence": 0.8499212541681392,
                  "accuracy": 0.8483870967741935
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 787,
                  "confidence": 0.9457076745016385,
                  "accuracy": 0.9491740787801779
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 239,
                  "confidence": 0.5157844942888618,
                  "accuracy": 0.5271966527196653
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 479,
                  "confidence": 0.5664246135139315,
                  "accuracy": 0.5427974947807933
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 537,
                  "confidence": 0.6329904989623659,
                  "accuracy": 0.6573556797020484
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 535,
                  "confidence": 0.701653234695724,
                  "accuracy": 0.7121495327102804
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 589,
                  "confidence": 0.7654794884429212,
                  "accuracy": 0.767402376910017
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 626,
                  "confidence": 0.8335544865599455,
                  "accuracy": 0.8322683706070287
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 585,
                  "confidence": 0.8992774872344452,
                  "accuracy": 0.8905982905982905
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 506,
                  "confidence": 0.9620874853566848,
                  "accuracy": 0.9762845849802372
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 239,
                  "confidence": 0.5157844942888618,
                  "accuracy": 0.5271966527196653
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 245,
                  "confidence": 0.5504723334866023,
                  "accuracy": 0.5224489795918368
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 234,
                  "confidence": 0.583126787046819,
                  "accuracy": 0.5641025641025641
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 267,
                  "confidence": 0.6165395529029275,
                  "accuracy": 0.6441947565543071
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 270,
                  "confidence": 0.649258656732255,
                  "accuracy": 0.6703703703703704
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 246,
                  "confidence": 0.6840747531533301,
                  "accuracy": 0.6991869918699187
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 289,
                  "confidence": 0.716616232825236,
                  "accuracy": 0.7231833910034602
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 314,
                  "confidence": 0.7499104067757983,
                  "accuracy": 0.7611464968152867
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 275,
                  "confidence": 0.7832565489646544,
                  "accuracy": 0.7745454545454545
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 318,
                  "confidence": 0.8170403082849453,
                  "accuracy": 0.8050314465408805
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 308,
                  "confidence": 0.8506048394542642,
                  "accuracy": 0.8603896103896104
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 304,
                  "confidence": 0.883623874308696,
                  "accuracy": 0.881578947368421
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 281,
                  "confidence": 0.9162123567341884,
                  "accuracy": 0.900355871886121
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 309,
                  "confidence": 0.9504319994987184,
                  "accuracy": 0.970873786407767
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 197,
                  "confidence": 0.9803694403318703,
                  "accuracy": 0.9847715736040609
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 787,
              "errors": 40,
              "coverage": 0.192138671875,
              "risk": 0.05082592121982211
            },
            "selected_policy": {
              "threshold": 0.83,
              "accepted": 1430,
              "errors": 126,
              "coverage": 0.34912109375,
              "risk": 0.08811188811188811
            }
          },
          "shift": {
            "n": 4096,
            "accuracy": 0.629150390625,
            "mean_confidence": 0.7599145351085834,
            "nll": 0.7168414186518071,
            "brier_sum_classes": 0.4906657223636574,
            "ece": {
              "5": 0.13076414448358342,
              "10": 0.13076414448358342,
              "15": 0.13419223748498543,
              "30": 0.1341922374849854
            },
            "reliability": {
              "5": [
                {
                  "lower": 0.0,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.6,
                  "n": 736,
                  "confidence": 0.549390122251906,
                  "accuracy": 0.5230978260869565
                },
                {
                  "lower": 0.6,
                  "upper": 0.8,
                  "n": 1606,
                  "confidence": 0.7033126913408301,
                  "accuracy": 0.5803237858032378
                },
                {
                  "lower": 0.8,
                  "upper": 1.0,
                  "n": 1754,
                  "confidence": 0.900079032801586,
                  "accuracy": 0.7183580387685291
                }
              ],
              "10": [
                {
                  "lower": 0.0,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.6,
                  "n": 736,
                  "confidence": 0.549390122251906,
                  "accuracy": 0.5230978260869565
                },
                {
                  "lower": 0.6,
                  "upper": 0.7,
                  "n": 765,
                  "confidence": 0.6499890789296199,
                  "accuracy": 0.5516339869281046
                },
                {
                  "lower": 0.7,
                  "upper": 0.8,
                  "n": 841,
                  "confidence": 0.7518175230822995,
                  "accuracy": 0.6064209274673008
                },
                {
                  "lower": 0.8,
                  "upper": 0.9,
                  "n": 871,
                  "confidence": 0.8528198597565824,
                  "accuracy": 0.6590126291618829
                },
                {
                  "lower": 0.9,
                  "upper": 1.0,
                  "n": 883,
                  "confidence": 0.9466959520792736,
                  "accuracy": 0.7768969422423556
                }
              ],
              "15": [
                {
                  "lower": 0.0,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5333333333333333,
                  "n": 240,
                  "confidence": 0.5165802730547032,
                  "accuracy": 0.5458333333333333
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.6,
                  "n": 496,
                  "confidence": 0.5652658557344237,
                  "accuracy": 0.5120967741935484
                },
                {
                  "lower": 0.6,
                  "upper": 0.6666666666666666,
                  "n": 504,
                  "confidence": 0.6327637262788361,
                  "accuracy": 0.5496031746031746
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7333333333333333,
                  "n": 514,
                  "confidence": 0.7003286056103157,
                  "accuracy": 0.5505836575875487
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.8,
                  "n": 588,
                  "confidence": 0.7663917703488733,
                  "accuracy": 0.6326530612244898
                },
                {
                  "lower": 0.8,
                  "upper": 0.8666666666666667,
                  "n": 543,
                  "confidence": 0.8346870324216035,
                  "accuracy": 0.6593001841620626
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9333333333333333,
                  "n": 657,
                  "confidence": 0.9000147381458649,
                  "accuracy": 0.6879756468797564
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 1.0,
                  "n": 554,
                  "confidence": 0.9642488844173608,
                  "accuracy": 0.8122743682310469
                }
              ],
              "30": [
                {
                  "lower": 0.0,
                  "upper": 0.03333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.03333333333333333,
                  "upper": 0.06666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.06666666666666667,
                  "upper": 0.1,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.1,
                  "upper": 0.13333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.13333333333333333,
                  "upper": 0.16666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.16666666666666666,
                  "upper": 0.2,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.2,
                  "upper": 0.23333333333333334,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.23333333333333334,
                  "upper": 0.26666666666666666,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.26666666666666666,
                  "upper": 0.3,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3,
                  "upper": 0.3333333333333333,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.3333333333333333,
                  "upper": 0.36666666666666664,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.36666666666666664,
                  "upper": 0.4,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4,
                  "upper": 0.43333333333333335,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.43333333333333335,
                  "upper": 0.4666666666666667,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.4666666666666667,
                  "upper": 0.5,
                  "n": 0,
                  "confidence": null,
                  "accuracy": null
                },
                {
                  "lower": 0.5,
                  "upper": 0.5333333333333333,
                  "n": 240,
                  "confidence": 0.5165802730547032,
                  "accuracy": 0.5458333333333333
                },
                {
                  "lower": 0.5333333333333333,
                  "upper": 0.5666666666666667,
                  "n": 265,
                  "confidence": 0.5498324627517746,
                  "accuracy": 0.5433962264150943
                },
                {
                  "lower": 0.5666666666666667,
                  "upper": 0.6,
                  "n": 231,
                  "confidence": 0.5829708303681984,
                  "accuracy": 0.47619047619047616
                },
                {
                  "lower": 0.6,
                  "upper": 0.6333333333333333,
                  "n": 259,
                  "confidence": 0.6168882774963128,
                  "accuracy": 0.555984555984556
                },
                {
                  "lower": 0.6333333333333333,
                  "upper": 0.6666666666666666,
                  "n": 245,
                  "confidence": 0.6495463435632178,
                  "accuracy": 0.5428571428571428
                },
                {
                  "lower": 0.6666666666666666,
                  "upper": 0.7,
                  "n": 261,
                  "confidence": 0.6832518288759611,
                  "accuracy": 0.5555555555555556
                },
                {
                  "lower": 0.7,
                  "upper": 0.7333333333333333,
                  "n": 253,
                  "confidence": 0.7179453594746102,
                  "accuracy": 0.5454545454545454
                },
                {
                  "lower": 0.7333333333333333,
                  "upper": 0.7666666666666667,
                  "n": 294,
                  "confidence": 0.7496383769498216,
                  "accuracy": 0.6054421768707483
                },
                {
                  "lower": 0.7666666666666667,
                  "upper": 0.8,
                  "n": 294,
                  "confidence": 0.783145163747925,
                  "accuracy": 0.6598639455782312
                },
                {
                  "lower": 0.8,
                  "upper": 0.8333333333333334,
                  "n": 257,
                  "confidence": 0.8168856612849366,
                  "accuracy": 0.6459143968871596
                },
                {
                  "lower": 0.8333333333333334,
                  "upper": 0.8666666666666667,
                  "n": 286,
                  "confidence": 0.850683369422035,
                  "accuracy": 0.6713286713286714
                },
                {
                  "lower": 0.8666666666666667,
                  "upper": 0.9,
                  "n": 328,
                  "confidence": 0.882838534277599,
                  "accuracy": 0.6585365853658537
                },
                {
                  "lower": 0.9,
                  "upper": 0.9333333333333333,
                  "n": 329,
                  "confidence": 0.9171387347075403,
                  "accuracy": 0.7173252279635258
                },
                {
                  "lower": 0.9333333333333333,
                  "upper": 0.9666666666666667,
                  "n": 302,
                  "confidence": 0.9503174798586115,
                  "accuracy": 0.7748344370860927
                },
                {
                  "lower": 0.9666666666666667,
                  "upper": 1.0,
                  "n": 252,
                  "confidence": 0.9809444565472903,
                  "accuracy": 0.8571428571428571
                }
              ]
            },
            "fixed_0.9": {
              "threshold": 0.9,
              "accepted": 883,
              "errors": 197,
              "coverage": 0.215576171875,
              "risk": 0.22310305775764439
            },
            "selected_policy": {
              "threshold": 0.83,
              "accepted": 1522,
              "errors": 413,
              "coverage": 0.37158203125,
              "risk": 0.27135348226018396
            }
          }
        }
      },
      "binary_rank_invariant": {
        "cal": true,
        "policy": true,
        "id": true,
        "shift": true
      }
    }
  ],
  "aggregate": {
    "id": {
      "raw": {
        "accuracy": {
          "mean": 0.7557779947916666,
          "seed_sd": 0.004202718533097447,
          "values": [
            0.7509765625,
            0.757568359375,
            0.7587890625
          ],
          "defined_seeds": 3
        },
        "nll": {
          "mean": 0.7201669511092307,
          "seed_sd": 0.009456486631992488,
          "values": [
            0.7136832392164179,
            0.7310177655579093,
            0.7157998485533649
          ],
          "defined_seeds": 3
        },
        "brier_sum_classes": {
          "mean": 0.3784027166926165,
          "seed_sd": 0.0017138547201572658,
          "values": [
            0.37992104359994006,
            0.37874278504056813,
            0.3765443214373413
          ],
          "defined_seeds": 3
        },
        "ece15": {
          "mean": 0.14512229937441015,
          "seed_sd": 0.0015852871654417984,
          "values": [
            0.14656975403938688,
            0.14342811254171464,
            0.14536903154212902
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_risk": {
          "mean": 0.16228468355812006,
          "seed_sd": 0.002959277812605711,
          "values": [
            0.1598984771573604,
            0.16135957066189624,
            0.1655960028551035
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_coverage": {
          "mean": 0.679931640625,
          "seed_sd": 0.005772260946062934,
          "values": [
            0.67333984375,
            0.682373046875,
            0.68408203125
          ],
          "defined_seeds": 3
        },
        "selected_policy_risk": {
          "mean": null,
          "seed_sd": null,
          "values": [
            0.0933852140077821,
            0.11274252753015207,
            null
          ],
          "defined_seeds": 2
        },
        "selected_policy_coverage": {
          "mean": 0.2806803385416667,
          "seed_sd": 0.24712607416650476,
          "values": [
            0.37646484375,
            0.465576171875,
            0.0
          ],
          "defined_seeds": 3
        }
      },
      "scaled": {
        "accuracy": {
          "mean": 0.7557779947916666,
          "seed_sd": 0.004202718533097447,
          "values": [
            0.7509765625,
            0.757568359375,
            0.7587890625
          ],
          "defined_seeds": 3
        },
        "nll": {
          "mean": 0.4957574237989264,
          "seed_sd": 0.001489226802387538,
          "values": [
            0.4967603200612168,
            0.4964657053004936,
            0.49404624603506886
          ],
          "defined_seeds": 3
        },
        "brier_sum_classes": {
          "mean": 0.32811671576161,
          "seed_sd": 0.0010189826607710558,
          "values": [
            0.3292385438373623,
            0.32786313214737006,
            0.32724847130009754
          ],
          "defined_seeds": 3
        },
        "ece15": {
          "mean": 0.017385335754044544,
          "seed_sd": 0.005795483846857971,
          "values": [
            0.023042466760645672,
            0.017652781329504156,
            0.011460759171983805
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_risk": {
          "mean": 0.05791116117731852,
          "seed_sd": 0.007808087426676279,
          "values": [
            0.06628242074927954,
            0.056625141562853906,
            0.05082592121982211
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_coverage": {
          "mean": 0.22062174479166666,
          "seed_sd": 0.03131224473149962,
          "values": [
            0.254150390625,
            0.215576171875,
            0.192138671875
          ],
          "defined_seeds": 3
        },
        "selected_policy_risk": {
          "mean": 0.09867799893737328,
          "seed_sd": 0.01579193178994361,
          "values": [
            0.09109042553191489,
            0.11683168316831684,
            0.08811188811188811
          ],
          "defined_seeds": 3
        },
        "selected_policy_coverage": {
          "mean": 0.4031575520833333,
          "seed_sd": 0.07846959727650354,
          "values": [
            0.3671875,
            0.4931640625,
            0.34912109375
          ],
          "defined_seeds": 3
        }
      }
    },
    "shift": {
      "raw": {
        "accuracy": {
          "mean": 0.6363118489583334,
          "seed_sd": 0.008046770311186927,
          "values": [
            0.634765625,
            0.64501953125,
            0.629150390625
          ],
          "defined_seeds": 3
        },
        "nll": {
          "mean": 1.3834246825241505,
          "seed_sd": 0.024175625840112177,
          "values": [
            1.364591235513496,
            1.374996607346563,
            1.4106862047123923
          ],
          "defined_seeds": 3
        },
        "brier_sum_classes": {
          "mean": 0.6040459697818306,
          "seed_sd": 0.01193678636277176,
          "values": [
            0.5998921017097705,
            0.5947410804270153,
            0.617504727208706
          ],
          "defined_seeds": 3
        },
        "ece15": {
          "mean": 0.26712863722773084,
          "seed_sd": 0.008801377085033198,
          "values": [
            0.2659032451953141,
            0.2590041684081292,
            0.27647849807974917
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_risk": {
          "mean": 0.3165233975088505,
          "seed_sd": 0.007147763694848881,
          "values": [
            0.3136971449222985,
            0.3112208892025406,
            0.32465215840171247
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_coverage": {
          "mean": 0.6839192708333334,
          "seed_sd": 0.008186298854944412,
          "values": [
            0.675537109375,
            0.69189453125,
            0.684326171875
          ],
          "defined_seeds": 3
        },
        "selected_policy_risk": {
          "mean": null,
          "seed_sd": null,
          "values": [
            0.26925485284909206,
            0.2803738317757009,
            null
          ],
          "defined_seeds": 2
        },
        "selected_policy_coverage": {
          "mean": 0.2867024739583333,
          "seed_sd": 0.25151868324073834,
          "values": [
            0.389892578125,
            0.47021484375,
            0.0
          ],
          "defined_seeds": 3
        }
      },
      "scaled": {
        "accuracy": {
          "mean": 0.6363118489583334,
          "seed_sd": 0.008046770311186927,
          "values": [
            0.634765625,
            0.64501953125,
            0.629150390625
          ],
          "defined_seeds": 3
        },
        "nll": {
          "mean": 0.7192152909631574,
          "seed_sd": 0.013731551625403996,
          "values": [
            0.7339790108958613,
            0.706825443341804,
            0.7168414186518071
          ],
          "defined_seeds": 3
        },
        "brier_sum_classes": {
          "mean": 0.48707564939441883,
          "seed_sd": 0.007248121808208093,
          "values": [
            0.49182804002304625,
            0.4787331857965528,
            0.4906657223636574
          ],
          "defined_seeds": 3
        },
        "ece15": {
          "mean": 0.13104653093541335,
          "seed_sd": 0.012030111535778567,
          "values": [
            0.14119127047191996,
            0.11775608484933467,
            0.13419223748498543
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_risk": {
          "mean": 0.22661406519198427,
          "seed_sd": 0.01143875455015946,
          "values": [
            0.23939679547596607,
            0.21734234234234234,
            0.22310305775764439
          ],
          "defined_seeds": 3
        },
        "fixed_0.9_coverage": {
          "mean": 0.23046875,
          "seed_sd": 0.02474507053490832,
          "values": [
            0.259033203125,
            0.216796875,
            0.215576171875
          ],
          "defined_seeds": 3
        },
        "selected_policy_risk": {
          "mean": 0.27685732106502986,
          "seed_sd": 0.011152843145805424,
          "values": [
            0.26952624839948786,
            0.2896922325354177,
            0.27135348226018396
          ],
          "defined_seeds": 3
        },
        "selected_policy_coverage": {
          "mean": 0.4175618489583333,
          "seed_sd": 0.07134937539454349,
          "values": [
            0.38134765625,
            0.499755859375,
            0.37158203125
          ],
          "defined_seeds": 3
        }
      }
    }
  }
}