169 похожих чатов

Окунулся кончиками пальцев в волшебный мир time series analysis. Там

в качестве примеров работы функций cross-correlation показываются "стройные колбаски" с корреляцией ~ 0.7.

Мне же реальность нарисовала совсем иные фигуры и несмотря на то, что корреляция там сильно выше (~ 0.86), не могу избавиться от ощущения, что эти "веера" намекают на что-то сильно отличающееся от простой линейной зависимости.

Мастицкого и красную книгу полистал -- там деталей по этому вопросу не нашёл.

Куда гуглить?

33 ответов

26 просмотров

попробуйте выкинуть выбросы с использованием IQR и логорифмировать

Alexander-Semenov Автор вопроса
Dm Kb
попробуйте выкинуть выбросы с использованием IQR и...

А можно без "прокрустового ложа"? Мне б феномене разобраться, а не свести задачу к типовой.

Alexander-Semenov Автор вопроса
Alexander Semenov
А можно без "прокрустового ложа"? Мне б феномене р...

Хотя, признаться честно, сюда я чаще захожу за обратным.

Alexander Semenov
А можно без "прокрустового ложа"? Мне б феномене р...

так феномен очень простой, в реальных данных часто скрыты ошибки измерений, которые в модель пускать не нужно ... логорифмирование - это просто попытка получить нормальное распределение, есть еще преобразование Бокс-Кокса, попробуйте тоже

Напоминает разброс по фьючам на одной паре по объёму/цене актива

Alexander-Semenov Автор вопроса
Dm Kb
так феномен очень простой, в реальных данных часто...

А если исходить из того, что это чистая характеристика коррелируемых фичей? По крайней мере одной из двух -- точно.

Alexander-Semenov Автор вопроса
Александр Bobov
Напоминает разброс по фьючам на одной паре по объё...

Может потому, что это корреляция цены битка с жужжанием в интернетах?

Alexander Semenov
А если исходить из того, что это чистая характерис...

так можно исходить из чего угодно, природе вообще основательно плевать как мы ее воспринимаем, давайте фактуру того, что за данные и тогда обсудим природу возможных искажений

Alexander Semenov
Может потому, что это корреляция цены битка с жужж...

все ценовые истории имеют логнормальное или около того распределение

Alexander-Semenov Автор вопроса
Dm Kb
так можно исходить из чего угодно, природе вообще ...

Ну вот цена битка -- это "реальность, данная нам в ощущениях". Тут ошибке измерения взяться неоткуда. У второго временного ряда (интернетное жужжание) ошибки измерений, естественно, есть. Одна из них связана тупо с тем, что регулярно добавляются новые источники жужжания.

Alexander Semenov
Ну вот цена битка -- это "реальность, данная нам в...

цена битка может формироваться на низкой ликвидности, что как раз может быть не вполне объективным замером... т.е. брать котировки битка из 2014 года - уже немного не то

Alexander Semenov
Ну вот цена битка -- это "реальность, данная нам в...

Жёска. Да там по объему жужжания и офигеть можно. Ещё же есть всякие даркнеты, или по принципу Аваланча были засланы боты для сканировария?

Alexander-Semenov Автор вопроса
Dm Kb
все ценовые истории имеют логнормальное или около ...

Ну в данных по зарплатам, выручке и подобному я к такому привык, да. То, что с ценами также для меня новость.

Alexander Semenov
Ну в данных по зарплатам, выручке и подобному я к ...

экономика - она такая )) попробуйте логорифм взять, дольше обсуждать природу этой операции чем просто посмотреть результат

Alexander-Semenov Автор вопроса
Александр Bobov
Жёска. Да там по объему жужжания и офигеть можно. ...

Без даркнетов. Все "обычные подозреваемые", парсинг которых не имеет юридических рисков.

Alexander Semenov
Без даркнетов. Все "обычные подозреваемые", парсин...

помню на заре криптопомешательства биток хорошо следовал за ICO и еще чуть позже за google trends , но потом туда пришли большие деньги и понеслось ...

Alexander-Semenov Автор вопроса
Dm Kb
цена битка может формироваться на низкой ликвиднос...

Настолько дзен битка я ещё не познал. Спасибо, интересно. Давно не сталкивался с предметной областью в которой я ничего не понимаю, но при этом мне действительно интересно.

Alexander-Semenov Автор вопроса
Dm Kb
помню на заре криптопомешательства биток хорошо сл...

Я сегодня хотел тут спросить, где пожать руку Мастицкому за то, что его книга по анализу временных рядов построена на примерах из криптовалют =)

Alexander Semenov
Я сегодня хотел тут спросить, где пожать руку Маст...

он в Лондоне, год назад с ним разговаривали ))) думаю, он уже не вернется, он выступал на конференции R т.е. виртуально пожать ему руку можно

Dm Kb
он в Лондоне, год назад с ним разговаривали ))) ду...

Ну можно поехать в Лондон. Пожать руку Мастицкому отличный повод, я считаю

Alexander-Semenov Автор вопроса
Alexander-Semenov Автор вопроса
Dm Kb
экономика - она такая )) попробуйте логорифм взять...

Для меня взятие логарифма -- это способ запихнуть неудобную реальность в удобную модель. А тут в кои-то веки приспичило в структуре реальности разобраться. От того, что я принесу коэффициент корреляции 0.96 вместо 0.86 радикальной разницы не будет.

Alexander Semenov
Для меня взятие логарифма -- это способ запихнуть ...

производная по логорифму - это функция в знаменателе т.е. по факту с точки зрения экономики вы просто переходите от абсолютных величин к процентным (относительным) т.е. такой трюк имеет вполне нормальное аналитическое и интерпретируемое обоснование ))

Alexander Semenov
What do we say to the god of calculus?

"почему я прогуливал пары в вузе?" :)))))

Alexander-Semenov Автор вопроса
Philipp Upravitelev
"почему я прогуливал пары в вузе?" :)))))

Согласно моим картам, цена вопроса если сильно надо -- 12 видосов: https://app.learney.me/

Alexander-Semenov Автор вопроса
Dm Kb
помню на заре криптопомешательства биток хорошо сл...

Вот тут можно посмотреть исходник: https://app.santiment.net/s/d9HJnEpm

Dm Kb
помню на заре криптопомешательства биток хорошо сл...

Мне это напоминает фильмы с Кейджем и самоубийства в США. Скоррелированы? Да. Влияют ли друг на друга? Нет.

Alexander-Semenov Автор вопроса
Сергей Ильин
Мне это напоминает фильмы с Кейджем и самоубийства...

Но в целом в этом чате такие вещи стоит упоминать разве что в ироничном ключе.

Сергей Ильин
Мне это напоминает фильмы с Кейджем и самоубийства...

Ну в теории можно поискать причинность и посмотреть эндогенность

Очень интересно, никогда в жизни не смотрел глазами на такой разброс, всегда пихал в линейную (а потом в нелинейную) модель лаги и смотрел на важность фичей. А ведь зря, наверное, на этих графиках можно чё то и увидеть!

Alexander-Semenov Автор вопроса
Ілія Малекі
Очень интересно, никогда в жизни не смотрел глазам...

Осталось только понять, что именно на них можно увидеть.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта