{ "best_metric": 0.9333333333333333, "best_model_checkpoint": "train_authorship/train_outputs/05-21-2024_18:15:03/checkpoint-266", "epoch": 9.851851851851851, "eval_steps": 14, "global_step": 266, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.52, "grad_norm": 7.749553203582764, "learning_rate": 2.5925925925925925e-05, "loss": 1.5905, "step": 14 }, { "epoch": 0.52, "eval_acc_product": 0.023387885802469133, "eval_blog11518_acc": 0.95, "eval_blog25872_acc": 0.7166666666666667, "eval_blog30102_acc": 0.16666666666666666, "eval_blog30407_acc": 0.23333333333333334, "eval_blog5546_acc": 0.8833333333333333, "eval_loss": 1.3726216554641724, "eval_overall_acc": 0.59, "eval_runtime": 2.064, "eval_samples_per_second": 145.351, "eval_steps_per_second": 2.423, "step": 14 }, { "epoch": 1.04, "grad_norm": 8.398506164550781, "learning_rate": 4.9794238683127575e-05, "loss": 0.7624, "step": 28 }, { "epoch": 1.04, "eval_acc_product": 0.5255833333333334, "eval_blog11518_acc": 0.8833333333333333, "eval_blog25872_acc": 0.9, "eval_blog30102_acc": 0.8333333333333334, "eval_blog30407_acc": 0.85, "eval_blog5546_acc": 0.9333333333333333, "eval_loss": 0.37141749262809753, "eval_overall_acc": 0.88, "eval_runtime": 1.8578, "eval_samples_per_second": 161.478, "eval_steps_per_second": 2.691, "step": 28 }, { "epoch": 1.56, "grad_norm": 10.172470092773438, "learning_rate": 4.691358024691358e-05, "loss": 0.2442, "step": 42 }, { "epoch": 1.56, "eval_acc_product": 0.556111111111111, "eval_blog11518_acc": 0.9, "eval_blog25872_acc": 0.8666666666666667, "eval_blog30102_acc": 0.8333333333333334, "eval_blog30407_acc": 0.9166666666666666, "eval_blog5546_acc": 0.9333333333333333, "eval_loss": 0.39041242003440857, "eval_overall_acc": 0.89, "eval_runtime": 1.859, "eval_samples_per_second": 161.377, "eval_steps_per_second": 2.69, "step": 42 }, { "epoch": 2.07, "grad_norm": 8.441645622253418, "learning_rate": 4.403292181069959e-05, "loss": 0.1667, "step": 56 }, { "epoch": 2.07, "eval_acc_product": 0.5986979166666666, "eval_blog11518_acc": 0.9166666666666666, "eval_blog25872_acc": 0.9166666666666666, "eval_blog30102_acc": 0.8333333333333334, "eval_blog30407_acc": 0.9, "eval_blog5546_acc": 0.95, "eval_loss": 0.31216973066329956, "eval_overall_acc": 0.9033333333333333, "eval_runtime": 1.8598, "eval_samples_per_second": 161.311, "eval_steps_per_second": 2.689, "step": 56 }, { "epoch": 2.59, "grad_norm": 3.225416898727417, "learning_rate": 4.11522633744856e-05, "loss": 0.0768, "step": 70 }, { "epoch": 2.59, "eval_acc_product": 0.6057333333333333, "eval_blog11518_acc": 0.9166666666666666, "eval_blog25872_acc": 0.9, "eval_blog30102_acc": 0.8, "eval_blog30407_acc": 0.9833333333333333, "eval_blog5546_acc": 0.9333333333333333, "eval_loss": 0.4465777575969696, "eval_overall_acc": 0.9066666666666666, "eval_runtime": 1.8591, "eval_samples_per_second": 161.369, "eval_steps_per_second": 2.689, "step": 70 }, { "epoch": 3.11, "grad_norm": 2.504025936126709, "learning_rate": 3.82716049382716e-05, "loss": 0.0808, "step": 84 }, { "epoch": 3.11, "eval_acc_product": 0.6102606481481482, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.95, "eval_blog30102_acc": 0.85, "eval_blog30407_acc": 0.8833333333333333, "eval_blog5546_acc": 0.9166666666666666, "eval_loss": 0.3569686710834503, "eval_overall_acc": 0.9066666666666666, "eval_runtime": 1.8589, "eval_samples_per_second": 161.387, "eval_steps_per_second": 2.69, "step": 84 }, { "epoch": 3.63, "grad_norm": 7.179825305938721, "learning_rate": 3.539094650205762e-05, "loss": 0.0609, "step": 98 }, { "epoch": 3.63, "eval_acc_product": 0.5760187654320988, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.8666666666666667, "eval_blog30102_acc": 0.85, "eval_blog30407_acc": 0.8666666666666667, "eval_blog5546_acc": 0.9666666666666667, "eval_loss": 0.5233202576637268, "eval_overall_acc": 0.8966666666666666, "eval_runtime": 1.8612, "eval_samples_per_second": 161.188, "eval_steps_per_second": 2.686, "step": 98 }, { "epoch": 4.15, "grad_norm": 9.827299118041992, "learning_rate": 3.2510288065843625e-05, "loss": 0.0465, "step": 112 }, { "epoch": 4.15, "eval_acc_product": 0.6450888888888888, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9166666666666666, "eval_blog30102_acc": 0.8666666666666667, "eval_blog30407_acc": 0.9, "eval_blog5546_acc": 0.9666666666666667, "eval_loss": 0.49046561121940613, "eval_overall_acc": 0.9166666666666666, "eval_runtime": 1.8611, "eval_samples_per_second": 161.194, "eval_steps_per_second": 2.687, "step": 112 }, { "epoch": 4.67, "grad_norm": 21.983882904052734, "learning_rate": 2.962962962962963e-05, "loss": 0.0313, "step": 126 }, { "epoch": 4.67, "eval_acc_product": 0.6699, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9, "eval_blog30102_acc": 0.9166666666666666, "eval_blog30407_acc": 0.9, "eval_blog5546_acc": 0.9666666666666667, "eval_loss": 0.5362628102302551, "eval_overall_acc": 0.9233333333333333, "eval_runtime": 1.8614, "eval_samples_per_second": 161.168, "eval_steps_per_second": 2.686, "step": 126 }, { "epoch": 5.19, "grad_norm": 21.096832275390625, "learning_rate": 2.6748971193415638e-05, "loss": 0.0085, "step": 140 }, { "epoch": 5.19, "eval_acc_product": 0.6202777777777778, "eval_blog11518_acc": 0.9666666666666667, "eval_blog25872_acc": 0.9166666666666666, "eval_blog30102_acc": 0.9, "eval_blog30407_acc": 0.9333333333333333, "eval_blog5546_acc": 0.8333333333333334, "eval_loss": 0.5727960467338562, "eval_overall_acc": 0.91, "eval_runtime": 1.8594, "eval_samples_per_second": 161.346, "eval_steps_per_second": 2.689, "step": 140 }, { "epoch": 5.7, "grad_norm": 0.006914363242685795, "learning_rate": 2.3868312757201647e-05, "loss": 0.0622, "step": 154 }, { "epoch": 5.7, "eval_acc_product": 0.6562111111111111, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9, "eval_blog30102_acc": 0.8666666666666667, "eval_blog30407_acc": 0.9166666666666666, "eval_blog5546_acc": 0.9833333333333333, "eval_loss": 0.4808708727359772, "eval_overall_acc": 0.92, "eval_runtime": 1.8597, "eval_samples_per_second": 161.315, "eval_steps_per_second": 2.689, "step": 154 }, { "epoch": 6.22, "grad_norm": 0.00887333881109953, "learning_rate": 2.0987654320987655e-05, "loss": 0.008, "step": 168 }, { "epoch": 6.22, "eval_acc_product": 0.6581242283950617, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9166666666666666, "eval_blog30102_acc": 0.8833333333333333, "eval_blog30407_acc": 0.9166666666666666, "eval_blog5546_acc": 0.95, "eval_loss": 0.5596528649330139, "eval_overall_acc": 0.92, "eval_runtime": 1.8627, "eval_samples_per_second": 161.055, "eval_steps_per_second": 2.684, "step": 168 }, { "epoch": 6.74, "grad_norm": 0.012549467384815216, "learning_rate": 1.8106995884773663e-05, "loss": 0.0085, "step": 182 }, { "epoch": 6.74, "eval_acc_product": 0.6822900000000001, "eval_blog11518_acc": 0.95, "eval_blog25872_acc": 0.9, "eval_blog30102_acc": 0.9333333333333333, "eval_blog30407_acc": 0.9, "eval_blog5546_acc": 0.95, "eval_loss": 0.531339704990387, "eval_overall_acc": 0.9266666666666666, "eval_runtime": 1.861, "eval_samples_per_second": 161.2, "eval_steps_per_second": 2.687, "step": 182 }, { "epoch": 7.26, "grad_norm": 0.0181818138808012, "learning_rate": 1.5226337448559672e-05, "loss": 0.0019, "step": 196 }, { "epoch": 7.26, "eval_acc_product": 0.65702, "eval_blog11518_acc": 0.95, "eval_blog25872_acc": 0.9333333333333333, "eval_blog30102_acc": 0.8666666666666667, "eval_blog30407_acc": 0.9, "eval_blog5546_acc": 0.95, "eval_loss": 0.5223247408866882, "eval_overall_acc": 0.92, "eval_runtime": 1.861, "eval_samples_per_second": 161.205, "eval_steps_per_second": 2.687, "step": 196 }, { "epoch": 7.78, "grad_norm": 2.227872133255005, "learning_rate": 1.2345679012345678e-05, "loss": 0.0033, "step": 210 }, { "epoch": 7.78, "eval_acc_product": 0.5660609053497941, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9333333333333333, "eval_blog30102_acc": 0.7333333333333333, "eval_blog30407_acc": 0.9166666666666666, "eval_blog5546_acc": 0.9666666666666667, "eval_loss": 0.7560172080993652, "eval_overall_acc": 0.8966666666666666, "eval_runtime": 1.8616, "eval_samples_per_second": 161.148, "eval_steps_per_second": 2.686, "step": 210 }, { "epoch": 8.3, "grad_norm": 0.006305953487753868, "learning_rate": 9.465020576131688e-06, "loss": 0.0129, "step": 224 }, { "epoch": 8.3, "eval_acc_product": 0.6940694444444444, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9166666666666666, "eval_blog30102_acc": 0.9, "eval_blog30407_acc": 0.9166666666666666, "eval_blog5546_acc": 0.9833333333333333, "eval_loss": 0.527305006980896, "eval_overall_acc": 0.93, "eval_runtime": 1.8613, "eval_samples_per_second": 161.175, "eval_steps_per_second": 2.686, "step": 224 }, { "epoch": 8.81, "grad_norm": 0.20049776136875153, "learning_rate": 6.584362139917697e-06, "loss": 0.0006, "step": 238 }, { "epoch": 8.81, "eval_acc_product": 0.6823055555555556, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9166666666666666, "eval_blog30102_acc": 0.9, "eval_blog30407_acc": 0.9166666666666666, "eval_blog5546_acc": 0.9666666666666667, "eval_loss": 0.47020867466926575, "eval_overall_acc": 0.9266666666666666, "eval_runtime": 1.862, "eval_samples_per_second": 161.115, "eval_steps_per_second": 2.685, "step": 238 }, { "epoch": 9.33, "grad_norm": 32.16856002807617, "learning_rate": 3.7037037037037037e-06, "loss": 0.0021, "step": 252 }, { "epoch": 9.33, "eval_acc_product": 0.6947111111111112, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9333333333333333, "eval_blog30102_acc": 0.9, "eval_blog30407_acc": 0.9166666666666666, "eval_blog5546_acc": 0.9666666666666667, "eval_loss": 0.43896910548210144, "eval_overall_acc": 0.93, "eval_runtime": 1.8624, "eval_samples_per_second": 161.081, "eval_steps_per_second": 2.685, "step": 252 }, { "epoch": 9.85, "grad_norm": 0.2687913179397583, "learning_rate": 8.230452674897121e-07, "loss": 0.0003, "step": 266 }, { "epoch": 9.85, "eval_acc_product": 0.7073422222222222, "eval_blog11518_acc": 0.9333333333333333, "eval_blog25872_acc": 0.9333333333333333, "eval_blog30102_acc": 0.9, "eval_blog30407_acc": 0.9333333333333333, "eval_blog5546_acc": 0.9666666666666667, "eval_loss": 0.42113277316093445, "eval_overall_acc": 0.9333333333333333, "eval_runtime": 1.8625, "eval_samples_per_second": 161.076, "eval_steps_per_second": 2.685, "step": 266 } ], "logging_steps": 14, "max_steps": 270, "num_input_tokens_seen": 0, "num_train_epochs": 10, "save_steps": 14, "total_flos": 5078349334260000.0, "train_batch_size": 64, "trial_name": null, "trial_params": null }