170 похожих чатов

Коллеги, проясните такую вещь. Есть например Бенчмарки для NER моделей.

Я правильно понимаю что это размеченный датасет на котором каждый может запустить свою модель и посмотреть качество и сравнить себя с другими моделями? Например с текущим sota решением. Данные датасеты закрытые? Мне думается что нет, но как тогда исключать тех кто добавил этот датасет в обучение?

13 ответов

26 просмотров

А зачем делать замеры на ванильных датасетах? Сделайте свой датасет, со своими приколами и сделайте оценку, насколько правильно модель отловит сущности

Так а зачем кому-то учиться на тесте и получать завышенный скор?

Alexander- Автор вопроса
Yuriy Nazarov
Так а зачем кому-то учиться на тесте и получать за...

Что-бы например хайпануть и привлечь внимание, а вы разбирайтесь, модель хорошая или я жулик

Alexander- Автор вопроса

Ноунейм готов к этому. Не верится что все держится на честном слове(

Alexander
Ноунейм готов к этому. Не верится что все держится...

Если речь про соревнования, то там тест скрывают. Либо только лейблы. Либо даже примеры, требуя сабмитить систему, которая делает предсказания.

Alexander- Автор вопроса
Yuriy Nazarov
Если речь про соревнования, то там тест скрывают. ...

Не соревнования, а бенчмарки, которые например указывают в статьях на архиве

Alexander
Что-бы например хайпануть и привлечь внимание, а в...

вот недавно выпустили статью, в которой опровергают заявление о сдаче GPTшкой экзамена для юристов лучше 95% людей (цифры в блоге OpenAI) в реальности, утверждают в статье, она всего лишь лучше 40-70%

vvv
вот недавно выпустили статью, в которой опровергаю...

цифры примерные, степень отличия вроде сохранил

vvv
вот недавно выпустили статью, в которой опровергаю...

там всё сложнее всё-таки: - gpt-4 деградирует с момента релиза из-за закручивания гаек - цифры перцентилей за разные годы

Ilya Gusev
там всё сложнее всё-таки: - gpt-4 деградирует с мо...

GPT4 модель за API не меняли с момента релиза с марта. В чем именно выражается деградация, можно спросить?

Rinat Abdullin
GPT4 модель за API не меняли с момента релиза с ма...

https://youtu.be/qbIk7-JPB2c?t=1572 веб версия менялась неоднократно про api точно неправда, прямо сейчас есть gpt-4 и gpt-4-0314

Ilya Gusev
https://youtu.be/qbIk7-JPB2c?t=1572 веб версия мен...

Да, web версия - это ChatGPT, отдельный продукт для людей. Он развивается. Но API для интеграции они не трогали. GPT-4 сейчас указывает на GPT-4-03xx. Это как с тегами в докере. С марта оно не менялось, было официальное подтверждение от OpenAI. Это ещё долго на HN обсуждали))

Rinat Abdullin
Да, web версия - это ChatGPT, отдельный продукт дл...

да, я ошибся, gpt-4 и gpt-4-0314 действительно одно и то же

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Я вот подумал. SSE выполняет операции максимум с 64-битной точностью. А FPU - всегда с 80-битной. Разве не должно быть FPU точнее тогда?
The Bird of Hermes
13
как быть с принтером? такой подход прокатит?
zamtmn
12
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Я не понимаю, это троллинг или что? Швабрика поддерживают, который буквально пишет на ассемблере взаимодействия с винапи. Я это ещё написал загрузчик и хоть что-то изучаю в о...
Shadow Akira
6
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Привет. Подскажите, как правильно сматчить лист фиксированного размера, чтобы компилятор не говорил мне о неполном паттерне? Допустим что-то такое [x', y'] = sort [x, y]?
Arseny
8
Карта сайта