{ "cache_key": "8a24fe2d0e80f9a63acc548af93067c38af4ae520513f28947185b0713d8f4bb", "config": { "seed": 82, "split": "train", "purpose": "development baseline; BEIR test reserved for later confirmation", "top_k": 100, "k_values": [ 1, 10, 100 ], "language": "english", "number_of_shards": 1, "batch_size": 64, "es_version": "7.17.9", "model": "Elasticsearch built-in BM25", "model_revision": "ef48222227ee6b9e70e502f0f0daa52435ee634d", "tokenizer": "Elasticsearch 7.17.9 english analyzer", "prompt": null, "decoding": null, "bm25_defaults": { "k1": 1.2, "b": 0.75 }, "fields": [ "title", "txt" ], "multi_match": "best_fields", "tie_breaker": 0.5, "rank_tie_policy": "score descending, doc ID string descending (trec_eval)", "selection_rule": "one frozen default configuration, no hyperparameter search", "query_limit": null }, "code": { "audit.py": "3a35b665b9c6a8a596c56e8c8df7ec88c26d14f91a500c6ad2c45f719f364d04", "common.py": "b87afe7d2e5552d5433f288b85c5b3e5bac9aab955a770992e337bedb928f54d", "compat.py": "f190edf88cbac732f48566f096e51467d6a89691d3c881dd8975a45d8d4a9239", "prepare.py": "1a1daeaa886e4f3719b73b3a189f5cb65ced26fddcc49760ff3afae252bf31f5", "run.py": "14eb13edbe193699b9861612dc0dec523483863880ffdbb1f18fe5e1bc975b46" }, "data": { "scifact/corpus.jsonl": "dec31c8182f3d744c7d2c09423756fd1d17cbef75808db13ba01cc0aab4d1ac6", "scifact/queries.jsonl": "8ff84a7c903f722981cd8d595c022660140c51867b27608a6d4910db86080313", "scifact/qrels/train.tsv": "a53f2114831916c096b6c37d9e54da68cef4efdcdbd5ed46533601af972acf1d", "scifact/qrels/test.tsv": "0864bb985e0ca2367ba217977e72004d549054b2b06666ed9d4825ac7c21284c", "downloads/data/claims_dev.jsonl": "86f0435d08fdb65d1aa41d1472684f57e6e71930626497bdf4d7a9ec1a632217", "downloads/data/claims_train.jsonl": "f4c8fa82d8bd0653a9cc8d61a6ea48c25eacea64e90af5dbf390ebb1b74372f0", "downloads/data/claims_test.jsonl": "558930d75215c73f84a28fe538307d6d397c9de1ec7239514cf45f80d75d2ca3", "downloads/data/corpus.jsonl": "b8d6c89624cb2ed74dee8938effc4f5d8bd2086887880af8110d64be4ceade62", "downloads/data/cross_validation/fold_4/claims_dev_4.jsonl": "f6c91c02854739b476b145160c47beb9a123607da58b33b7ea240e0d51209142", "downloads/data/cross_validation/fold_4/claims_train_4.jsonl": "11444b9365c72eb6b497dc1a068ad11fa691e5c94cab2249b8969430704f0608", "downloads/data/cross_validation/fold_3/claims_train_3.jsonl": "8b16b208d9b42cbf882d480531090b23025689077f78aee60b6434a73c8b3d8b", "downloads/data/cross_validation/fold_3/claims_dev_3.jsonl": "25f3b19510216350db45cfd469a7d8c6131f948c7ce70976f01d6126682ee745", "downloads/data/cross_validation/fold_2/claims_dev_2.jsonl": "1db8e51cfa04f680ce6d256096ffe336ee74f1640f836e4d2bc0c711fb312f03", "downloads/data/cross_validation/fold_2/claims_train_2.jsonl": "6d8ad6881a7d50cd05aad1baf62d68d68ae3168fe5e3049549bc430ffd7f09a3", "downloads/data/cross_validation/fold_5/claims_train_5.jsonl": "859ac5af4b2703d8feab737315b0d12c59d7cbc4c4265852a2c3f9dc93ef1177", "downloads/data/cross_validation/fold_5/claims_dev_5.jsonl": "a210668e95a02d8b2b67f2592db517476e22d6175309e5d643f2bf01eed5c97b", "downloads/data/cross_validation/fold_1/claims_dev_1.jsonl": "e30aaab11fbc94580514c83fe3778b76cac0b1b981f3fe941d7b4a33005e5653", "downloads/data/cross_validation/fold_1/claims_train_1.jsonl": "32922d3690b6e867589ed9c672c00115eea7295845c91d13747ef07fa6fb3996" }, "upstream": "ef83d29307061c65d04b035b4f4e7c18bd8374af", "model_revision": "ef48222227ee6b9e70e502f0f0daa52435ee634d", "tokenizer": "Elasticsearch 7.17.9 english analyzer", "prompt": null, "decoding": null, "query_ids": [ "0", "2", "4", "6", "9", "10", "11", "12", "14", "15", "17", "18", "19", "20", "21", "22", "24", "25", "26", "27", "28", "30", "32", "34", "35", "37", "39", "40", "41", "43", "44", "45", "46", "47", "52", "55", "58", "60", "61", "62", "63", "64", "66", "67", "68", "69", "71", "73", "74", "76", "77", "78", "79", "80", "81", "82", "85", "86", "88", "89", "90", "91", "92", "93", "95", "96", "98", "104", "105", "106", "108", "109", "111", "112", "114", "116", "119", "120", "121", "122", "123", "126", "134", "138", "139", "144", "149", "152", "153", "154", "155", "156", "157", "159", "160", "161", "164", "165", "166", "167", "168", "169", "172", "173", "174", "175", "176", "177", "178", "181", "182", "184", "186", "187", "189", "196", "197", "199", "200", "201", "203", "204", "205", "209", "210", "211", "214", "220", "221", "222", "223", "224", "225", "226", "227", "228", "229", "235", "241", "242", "243", "244", "245", "246", "247", "250", "251", "253", "254", "255", "256", "258", "259", "262", "263", "264", "265", "266", "267", "272", "277", "278", "280", "281", "283", "285", "286", "287", "290", "292", "293", "296", "299", "301", "304", "305", "306", "308", "309", "310", "313", "315", "316", "317", "323", "325", "326", "330", "331", "332", "333", "334", "335", "336", "337", "339", "340", "341", "342", "345", "346", "347", "349", "351", "352", "355", "356", "357", "358", "361", "363", "364", "365", "366", "367", "368", "369", "370", "371", "372", "375", "376", "377", "378", "379", "381", "382", "383", "389", "390", "391", "392", "393", "394", "396", "397", "398", "400", "401", "403", "404", "406", "407", "413", "414", "416", "417", "418", "420", "422", "423", "425", "426", "428", "429", "430", "432", "434", "435", "441", "444", "445", "447", "448", "449", "453", "454", "455", "456", "458", "461", "463", "466", "469", "470", "472", "473", "474", "479", "480", "481", "482", "483", "484", "485", "486", "487", "488", "489", "490", "492", "493", "494", "495", "498", "499", "500", "504", "505", "506", "509", "515", "523", "524", "526", "529", "530", "531", "537", "541", "542", "545", "547", "548", "550", "553", "555", "557", "559", "562", "563", "564", "565", "566", "568", "570", "571", "572", "573", "574", "576", "579", "580", "582", "584", "585", "588", "590", "591", "592", "594", "595", "600", "601", "602", "603", "606", "607", "609", "610", "611", "612", "614", "615", "616", "617", "618", "620", "621", "622", "624", "625", "626", "631", "632", "633", "635", "638", "640", "642", "643", "645", "646", "647", "648", "650", "651", "652", "653", "654", "655", "657", "658", "661", "662", "663", "665", "666", "667", "668", "669", "670", "671", "672", "673", "676", "677", "679", "680", "681", "682", "683", "685", "686", "687", "688", "689", "694", "696", "698", "703", "704", "705", "709", "710", "713", "714", "717", "724", "726", "730", "732", "733", "734", "736", "737", "738", "739", "740", "745", "746", "747", "748", "749", "751", "752", "753", "755", "757", "758", "760", "761", "762", "764", "765", "766", "767", "771", "772", "774", "776", "777", "778", "779", "780", "782", "787", "788", "789", "790", "791", "792", "795", "797", "798", "799", "801", "802", "803", "804", "807", "810", "812", "813", "815", "816", "817", "818", "822", "825", "826", "828", "835", "838", "840", "841", "844", "846", "848", "853", "854", "855", "856", "857", "858", "860", "861", "863", "866", "867", "871", "876", "877", "881", "883", "884", "885", "886", "890", "891", "893", "894", "895", "896", "897", "898", "899", "900", "901", "902", "908", "909", "910", "912", "916", "917", "919", "923", "925", "926", "927", "928", "929", "930", "933", "934", "935", "938", "939", "940", "941", "942", "944", "945", "946", "949", "951", "952", "953", "954", "955", "959", "962", "963", "964", "965", "969", "970", "972", "973", "976", "977", "978", "979", "980", "984", "988", "989", "990", "992", "994", "996", "997", "998", "999", "1000", "1001", "1002", "1003", "1004", "1005", "1006", "1008", "1009", "1011", "1015", "1016", "1018", "1023", "1025", "1026", "1027", "1028", "1030", "1031", "1032", "1033", "1034", "1035", "1036", "1037", "1038", "1040", "1042", "1043", "1044", "1045", "1046", "1047", "1048", "1050", "1052", "1053", "1054", "1055", "1056", "1058", "1065", "1067", "1068", "1069", "1070", "1072", "1073", "1074", "1075", "1081", "1084", "1085", "1087", "1090", "1091", "1096", "1097", "1098", "1101", "1102", "1103", "1105", "1106", "1109", "1111", "1112", "1114", "1115", "1118", "1119", "1120", "1125", "1126", "1127", "1128", "1133", "1134", "1135", "1136", "1138", "1139", "1141", "1142", "1145", "1148", "1153", "1156", "1157", "1158", "1159", "1161", "1162", "1164", "1165", "1166", "1168", "1169", "1170", "1171", "1173", "1174", "1176", "1177", "1178", "1181", "1182", "1183", "1184", "1186", "1188", "1190", "1193", "1195", "1205", "1206", "1208", "1209", "1210", "1211", "1212", "1214", "1215", "1218", "1219", "1220", "1223", "1224", "1227", "1228", "1229", "1230", "1231", "1234", "1235", "1236", "1237", "1238", "1239", "1244", "1246", "1247", "1248", "1249", "1253", "1254", "1255", "1257", "1258", "1260", "1261", "1263", "1265", "1268", "1269", "1275", "1276", "1284", "1288", "1289", "1291", "1293", "1294", "1295", "1297", "1300", "1302", "1304", "1305", "1306", "1307", "1308", "1309", "1310", "1311", "1312", "1314", "1315", "1322", "1323", "1324", "1325", "1327", "1328", "1330", "1331", "1333", "1334", "1340", "1341", "1342", "1345", "1346", "1347", "1348", "1349", "1350", "1351", "1353", "1355", "1356", "1360", "1361", "1364", "1366", "1367", "1371", "1372", "1373", "1374", "1375", "1376", "1378", "1380", "1381", "1383", "1386", "1387", "1390", "1391", "1392", "1393", "1394", "1397", "1398", "1400", "1401", "1402", "1403", "1404", "1405", "1406", "1407" ], "requirements": "2288e6b5471d08c7282d2a7b019e45fef492fd71039437cfde579a2cdd6c4cbb" }