Update README.md

README.md

@@ -172,9 +172,9 @@ bnb_4bit_use_double_quant=True
 ################################################################################
 task_type="CAUSAL_LM"
 target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
-r=16
-lora_alpha=32
-lora_dropout=0.1
+r=8
+lora_alpha=16
+lora_dropout=0.05
 bias="none"
 
 ################################################################################
@@ -193,7 +193,7 @@ weight_decay=0.01
 ################################################################################
 # SFT parameters
 ################################################################################
-max_seq_length=2048
+max_seq_length=4096
 packing=False
 ```
 
@@ -276,7 +276,7 @@ packing=False
 
 ### Training Details
 
-- **Training time:** 18 hours
+- **Training time:** 80 hours
 - More details on [Weights & Biases](https://wandb.ai/pathfinderkr/Waktaverse-Llama-3-KO-8B-Instruct?nw=nwuserpathfinderkr)