---
datasets:
- IlyaGusev/saiga_scored
- Open-Orca/OpenOrca
language:
- ru
- en
base_model: CohereForAI/c4ai-command-r-08-2024
pipeline_tag: text-generation
---

AWQ квантизация модели https://huggingface.co/CohereForAI/c4ai-command-r-08-2024 
полученная с помощью https://github.com/casper-hansen/AutoAWQ
Для калибровки использовались ограничения на 256 пакетов длиной до 256 токенов,
собранные из решений различных задач на русском и английском языке с помощью GPT4 / GPT4o из датасетов:
https://huggingface.co/datasets/IlyaGusev/saiga_scored
https://huggingface.co/datasets/Open-Orca/OpenOrca

Валидация модели производилась на обучающей части бенчмарка MERA https://mera.a-ai.ru/ru/leaderboard,
так для задачи PARus модель набирает 0.92 что эквивалетно например 4bit квантизациям Qwen2-72B и Llama3-70B