PathFinderKR commited on
Commit
d562782
1 Parent(s): 45704b9

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -5
README.md CHANGED
@@ -189,9 +189,9 @@ bias="none"
189
  ################################################################################
190
  # TrainingArguments parameters
191
  ################################################################################
192
- num_train_epochs=2
193
- per_device_train_batch_size=4
194
- gradient_accumulation_steps=2
195
  gradient_checkpointing=True
196
  learning_rate=2e-5
197
  lr_scheduler_type="cosine"
@@ -202,7 +202,7 @@ weight_decay=0.01
202
  ################################################################################
203
  # SFT parameters
204
  ################################################################################
205
- max_seq_length=4096
206
  packing=False
207
  ```
208
 
@@ -285,7 +285,7 @@ packing=False
285
 
286
  ### Training Details
287
 
288
- - **Training time:** 80 hours
289
 
290
 
291
 
 
189
  ################################################################################
190
  # TrainingArguments parameters
191
  ################################################################################
192
+ num_train_epochs=1
193
+ per_device_train_batch_size=2
194
+ gradient_accumulation_steps=1
195
  gradient_checkpointing=True
196
  learning_rate=2e-5
197
  lr_scheduler_type="cosine"
 
202
  ################################################################################
203
  # SFT parameters
204
  ################################################################################
205
+ max_seq_length=1024
206
  packing=False
207
  ```
208
 
 
285
 
286
  ### Training Details
287
 
288
+ - **Training time:** 18 hours
289
 
290
 
291