|
--- |
|
license: apache-2.0 |
|
language: |
|
- ru |
|
library_name: transformers |
|
pipeline_tag: text-generation |
|
tags: |
|
- russian |
|
- cosmos |
|
- astrophysics |
|
--- |
|
|
|
Модель для генерации текстов по космосу, астрофизике, космонавтике |
|
|
|
|
|
## Для пользователей text-generation-webui |
|
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. |
|
Ошибка такая:<br> |
|
>eos_token_id = eos_token_id[0] |
|
>IndexError: list index out of range |
|
|
|
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br> |
|
<code>tokenizer.eos_token_id = 2</code><br> |
|
перед<br> |
|
<code>return tokenizer</code> |
|
|
