Ilya Gusev

типа аттеншен + свёртки: https://openreview.net/pdf?id=r1xN5oA5tm

а почему бы этому не работать? хоть это и то, как делать не нужно, это вполне работает

так а проблема с load_in_8bit=True в чём?

сколько весит скаченный адаптер и скаченная базовая модель?

И ради чего?

а автор анонса что вообще курил? каких нафиг лексем? с каких пор токены соответствуют лексемам как один к одному?

подведем итог стадий отрицания: 1) но fasttext только строит эмбеддинги (нет, не только) 2) ну нет же статьи про классификацию (нашлась) 3) можно сделать детектор лучше (нет т...

Что значит "эмбеддинги не посчитаны"? Я же говорю, в начале матрица заполнена случайными числами

Зачем делать сложно, если можно сделать просто?

Почему один вызов-то стоит делать?

все же кстати видели поддержку assisted generation в HF? https://huggingface.co/blog/assisted-generation правда найти бы хоть одного человека, который HF для инференса в проде...

а можно hf_device_map вывести?

ожидается “мама моет” “мама моет стекла” “мама моет стекла в раме” “мама моет что-то в раме” ?

там карточка-то свободна?

или речь про обучение, а не инференс? там проблема в том, что 13B часов 100 обучается

а можешь вывести print(model) сразу после загрузки?

в параметрах инференса-то правильное число тредов указали?

дальше - модель инициализируется заново?