с какой моделью можно запустить эту лору?
Скиньте пожалуйста название модели с которой у Вас это работает. Я не смог запустить :(
Какая ошибка выходит?
Спасибо, дело было не в бобине :) к устаревшей версии autoGPT не применялась лора, теперь всё ок.
Какая ошибка выходит?
Подскажите пожалуйста пробую загрузить модель "/iashchak/ruGPT-3.5-13B-gptq-4bits" в "oobabooga/text-generation-webui" выходит ошибка MemoryError у меня 16гб ram этого мало для запуска локально этой модели?
Какая ошибка выходит?
Подскажите пожалуйста пробую загрузить модель "/iashchak/ruGPT-3.5-13B-gptq-4bits" в "oobabooga/text-generation-webui" выходит ошибка MemoryError у меня 16гб ram этого мало для запуска локально этой модели?
В последних версиях там поломана работа с GPT2 моделями, а LoRA для них вообще похерена.
Лучше создать отдельный venv/conda для gpt2, там:pip install https://github.com/PanQiWei/AutoGPTQ/releases/download/v0.3.2/auto_gptq-0.3.2+cu118-cp310-cp310-linux_x86_64.whl
pip install peft==0.4.0
Желательно грузить autogptq модели. Если глючит, то нужно править файл модуля для загрузки autogptq
Напишите пожалуйста пример кода как использовать?
Было бы круто если с использованием:
from langchain_community.llms.huggingface_pipeline import HuggingFacePipeline
hf = HuggingFacePipeline.from_model_id()