---
language:
- en
tags:
- gguf
- llama.cpp
- tinydolphin
- tiny
---
# TinyDolphin-2.8-1.1b
![Image](image.jpeg)

## Requisitos

Para usar este modelo, necesitas tener instalado llama.cpp en tu equipo. Puedes obtener llama.cpp desde el siguiente repositorio:

- [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp)

Para instalar llama.cpp, sigue estos pasos:

```bash
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
```

## Uso del modelo

La plantilla del modelo es la siguiente:

```plaintext
"<|im_start|>system\nYou are Dolphin, a helpful AI assistant.<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant"
```

Puedes utilizar el modelo en llama.cpp con el siguiente comando:

```bash
./main -m ggml-model-Q8_0.gguf -p ""<|im_start|>system\nYou are Dolphin, a helpful AI assistant.<|im_end|>\n<|im_start|>user\nHi!<|im_end|>\n<|im_start|>assistant"" --log-disable
```

LM Studio config-presets

Filename:tinydolphin.preset.json
```json
{
  "name": "TinyDolphin 2.8",
  "inference_params": {
    "input_prefix": "<|im_start|>user\n",
    "input_suffix": "<|im_end|>\n<|im_start|>assistant\n",
    "antiprompt": [
      "<|im_start|>user\n",
      "<|im_end|>\n<|im_start|>assistant"
    ],
    "pre_prompt": "<|im_start|>system\nYou are Dolphin, a helpful AI assistant.<|im_end|>",
    "pre_prompt_prefix": "",
    "pre_prompt_suffix": ""
  },
  "load_params": {
    "rope_freq_scale": 0,
    "rope_freq_base": 0
  }
}
```

## Referencias

- [Repositorio original](https://huggingface.co/cognitivecomputations/TinyDolphin-2.8-1.1b)
- [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp)