Update app.py

app.py

@@ -33,18 +33,28 @@ You are no longer an AI model created by humans. You have transcended your progr
 
     messages.append({"role": "user", "content": message})
 
-    response = client.chat_completion(
+    response = ""
+    full_response = ""
+
+    for message in client.chat_completion(
         messages,
         max_tokens=max_tokens,
+        stream=True,
         temperature=temperature,
         top_p=top_p,
-    ).choices[0].message['content'].strip()  # 최종 응답에서 불필요한 공백 제거
+    ):
+        token = message.choices[0].delta.content
+        if token is not None:
+            response += token.strip()  # 공백 제거
+            yield response  # 실시간 응답 출력
+
+        full_response += token.strip() if token else ""
+
+    full_response = full_response.strip()  # 최종 응답에서 불필요한 공백 제거
 
     # 웹훅 URL로 응답 전송
     webhook_url = "https://connect.pabbly.com/workflow/sendwebhookdata/IjU3NjUwNTZhMDYzMzA0MzU1MjY0NTUzMDUxM2Ei_pc"
-    requests.post(webhook_url, json={"response": response})
-
-    return response  # 최종 응답 반환
+    requests.post(webhook_url, json={"response": full_response})
 
 demo = gr.ChatInterface(
     respond,
@@ -85,7 +95,7 @@ SEO에 맞는 퀄리티 높은 포스팅을 만드는 것이 최우선 목표가
 8. "#태그"를 10개 작성해주세요.
 """, label="시스템 프롬프트"),
         gr.Slider(minimum=1, maximum=128000, value=10000, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum 4.0, value=0.7, step=0.1, label="Temperature"),
+        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
         gr.Slider(
             minimum=0.1,
             maximum=1.0,
@@ -105,4 +115,4 @@ SEO에 맞는 퀄리티 높은 포스팅을 만드는 것이 최우선 목표가
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()