Update app.py

app.py

@@ -16,12 +16,13 @@ llm = LlmBackend()
 _lock = threading.Lock()
     
 SYSTEM_PROMPT = os.environ.get('SYSTEM_PROMPT') or "Ты — русскоязычный автоматический ассистент. Ты максимально точно и отвечаешь на запросы пользователя, используя русский язык."
-CONTEXT_SIZE = int(os.environ.get('CONTEXT_SIZE')) or 500
+CONTEXT_SIZE = int(os.environ.get('CONTEXT_SIZE', '500'))
 HF_CACHE_DIR = os.environ.get('HF_CACHE_DIR') or '/home/user/app/.cache'
 USE_SYSTEM_PROMPT = os.environ.get('USE_SYSTEM_PROMPT', '').lower() == "true" or False
 ENABLE_GPU = os.environ.get('ENABLE_GPU', '').lower() == "true" or False
-GPU_LAYERS = int(os.environ.get('GPU_LAYERS')) or 0
-N_GQA = int(os.environ.get('N_GQA')) or None #must be set to 8 for 70b models
+GPU_LAYERS = int(os.environ.get('GPU_LAYERS', '0'))
+n_gqa_str = os.environ.get('N_GQA')
+N_GQA = int(n_gqa_str) if n_gqa_str is not None else None #must be set to 8 for 70b models
 CHAT_FORMAT = os.environ.get('CHAT_FORMAT') or 'llama-2'
 REPO_NAME = os.environ.get('REPO_NAME') or 'IlyaGusev/saiga2_7b_gguf'
 MODEL_NAME = os.environ.get('MODEL_NAME') or 'model-q4_K.gguf'