Update README.md

README.md

@@ -80,23 +80,19 @@ def chat(message):
     response = outputs[0][input_ids.shape[-1]:]
     print(tokenizer.decode(response, skip_special_tokens=True))
 
-chat('서울의 유명한 관광 코스를 만들어줄래?')
+chat('다음 두 집합 A, B에 대해 A 교집합 B = {1, 2, 3, 4, 5}이고, A 합집합 B = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}일 때, A와 B의 원소의 개수 범위를 구하시오.')
 ```
 
 ## Output
 
 ```
-물론이에요! 서울은 다양한 문화와 역사를 경험할 수 있는 많은 관광 코스를 가지고 있어요. 여기서는 서울의 주요 관광 명소를 중심으로 한 코스를 소개할게요:
-
-1. **경복궁**: 조선 시대 왕실의 주요 행사가 이루어졌던 궁궐로, 아름다운 건축과 역사적인 배경이 돋보이는 장소예요.
-2. **창덕궁**: 서울의 또 다른 주요 궁궐로, 경복궁과는 달리 더 평화롭고 아름다운 분위기를 느낄 수 있어요.
-3. **종묘**: 조선 시대 왕실의 왕과 왕비의 무덤으로, 조선 시대의 문화와 예술을 엿볼 수 있는 곳이에요.
-4. **인사동**: 전통적인 한국 문화와 예술을 경험할 수 있는 곳으로, 골동품 가게, 갤러리, 전통 공예품 등을 즐길 수 있어요.
-5. **명동**: 현대적인 쇼핑과 즐길 거리가 많은 곳으로, 패션과 음식을 즐길 수 있어요.
-6. **남산** 및 **북산**: 서울의 중심에 위치한 두 개의 산으로, 산책과 등산을 즐길 수 있고, 북산에는 서울 시내를 한눈에 볼 수 있는 뷰 포인트도 있어요.
-7. **한강**: 서울의 중심을 흐르는 강으로, 강변을 따라 산책하거나 자전거를 타며 즐길 수 있어요.
-8. **보라빛 신길**: 봄에는 보라빛이 피어나는 미로 같은 산책로로, 봄을 즐기기에 좋아요.
-9. **남산 서울타워**: 서울 시내를
+집합 A와 B에 대한 정보를 바탕으로 A와 B의 원소의 개수 범위를 구해볼게요.
+
+먼저, A 교집합 B = {1, 2, 3, 4, 5}라는 정보를 보면, 집합 A와 B의 공통 원소는 1, 2, 3, 4, 5이므로, 이 원소들의 개수를 구하면 됩니다. 즉, A와 B의 공통 원소 개수는 5입니다.
+
+다음으로, A 합집합 B = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}라는 정보를 보면, 집합 A와 B의 모든 원소를 합친 결과가 이 집합이므로, 이 집합의 원소 개수를 구하면 됩니다. 즉, A와 B의 합집합 원소 개수는 10입니다.
+
+따라서, 집합 A와 B의 원소의 개수 범위는 5에서 10 사이입니다. 즉, A와 B의 공통 원소 개수는 최소 5개이고, 합집합 원소 개수는 최대 10개입니다. 이 정보를 바탕으로 A와 B의 원소 개수 범위를 구할 수 있어요. 다른 궁금한 점이 있으면 언제든지 물어봐 주세요!
 ```
 
 
@@ -109,13 +105,13 @@ dataset: k2-feedback,kiqu_samples,ko_lima_vicuna,ko-instruction-data,korean-huma
 dataset_dir: /home/work/dweax/train/dataset
 ddp_timeout: 180000000
 do_train: true
-eval_steps: 1500
+eval_steps: 150
 eval_strategy: steps
 finetuning_type: lora
 flash_attn: auto
-gradient_accumulation_steps: 4
+gradient_accumulation_steps: 8
 include_num_input_tokens_seen: true
-learning_rate: 5.0e-05
+learning_rate: 0.0001
 logging_steps: 5
 lora_alpha: 16
 lora_dropout: 0.05
@@ -124,21 +120,21 @@ lora_target: all
 loraplus_lr_ratio: 1
 lr_scheduler_type: inverse_sqrt
 max_grad_norm: 1.0
-max_samples: 50000
+max_samples: 75000
 model_name_or_path: THUDM/glm-4-9b
 num_train_epochs: 3.0
 optim: adamw_torch
-output_dir: saves/GLM-4-9B/lora/glm4-ko-v1
+output_dir: saves/GLM-4-9B/lora/glm4-ko-v2.1
 packing: true
-per_device_eval_batch_size: 4
-per_device_train_batch_size: 4
+per_device_eval_batch_size: 8
+per_device_train_batch_size: 8
 plot_loss: true
 preprocessing_num_workers: 16
 report_to: all
 resize_vocab: true
-save_steps: 1500
+save_steps: 150
 stage: sft
 template: glm4
 val_size: 0.05
-warmup_steps: 1000
+warmup_steps: 150
 ```