170 похожих чатов

Товарищи, добрый день! Такой вопрос: вот у меня есть несколько

частотных распределений subword tokens (упорядоченных по рангу), и они ложатся более-менее в распределение Ципфа (=на лог-лог шкале получается прямая линия).

НО: хотелось бы как-то измерить это "более-менее". То есть если нам дано реальное распределение, посчитать степень отклонения от идеального распределения Ципфа или, например, аппроксимировать значения альфы-бэты самого близкого распределения Ципфа.

Не подскажете ли случайно, может, есть какие-то готовые/близкие решения?

1 ответов

8 просмотров

Значения параметров распределения Ципфа (или похожего на него, но более простого распределения Парето) можно оценить методом максимального правдоподобия (вот пример вывода формулы для Парето). Сравнить степень отклонения реального распределения от идеального можно с помощью статистики Колмогорова-Смирнова. Если я ничего не путаю, и то и другое умеет считать scipy.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта