PathFinderKR
commited on
Commit
•
d562782
1
Parent(s):
45704b9
Update README.md
Browse files
README.md
CHANGED
@@ -189,9 +189,9 @@ bias="none"
|
|
189 |
################################################################################
|
190 |
# TrainingArguments parameters
|
191 |
################################################################################
|
192 |
-
num_train_epochs=
|
193 |
-
per_device_train_batch_size=
|
194 |
-
gradient_accumulation_steps=
|
195 |
gradient_checkpointing=True
|
196 |
learning_rate=2e-5
|
197 |
lr_scheduler_type="cosine"
|
@@ -202,7 +202,7 @@ weight_decay=0.01
|
|
202 |
################################################################################
|
203 |
# SFT parameters
|
204 |
################################################################################
|
205 |
-
max_seq_length=
|
206 |
packing=False
|
207 |
```
|
208 |
|
@@ -285,7 +285,7 @@ packing=False
|
|
285 |
|
286 |
### Training Details
|
287 |
|
288 |
-
- **Training time:**
|
289 |
|
290 |
|
291 |
|
|
|
189 |
################################################################################
|
190 |
# TrainingArguments parameters
|
191 |
################################################################################
|
192 |
+
num_train_epochs=1
|
193 |
+
per_device_train_batch_size=2
|
194 |
+
gradient_accumulation_steps=1
|
195 |
gradient_checkpointing=True
|
196 |
learning_rate=2e-5
|
197 |
lr_scheduler_type="cosine"
|
|
|
202 |
################################################################################
|
203 |
# SFT parameters
|
204 |
################################################################################
|
205 |
+
max_seq_length=1024
|
206 |
packing=False
|
207 |
```
|
208 |
|
|
|
285 |
|
286 |
### Training Details
|
287 |
|
288 |
+
- **Training time:** 18 hours
|
289 |
|
290 |
|
291 |
|