169 похожих чатов

Окунулся кончиками пальцев в волшебный мир time series analysis. Там

в качестве примеров работы функций cross-correlation показываются "стройные колбаски" с корреляцией ~ 0.7.

Мне же реальность нарисовала совсем иные фигуры и несмотря на то, что корреляция там сильно выше (~ 0.86), не могу избавиться от ощущения, что эти "веера" намекают на что-то сильно отличающееся от простой линейной зависимости.

Мастицкого и красную книгу полистал -- там деталей по этому вопросу не нашёл.

Куда гуглить?

33 ответов

5 просмотров

попробуйте выкинуть выбросы с использованием IQR и логорифмировать

Alexander-Semenov Автор вопроса
Dm Kb
попробуйте выкинуть выбросы с использованием IQR и...

А можно без "прокрустового ложа"? Мне б феномене разобраться, а не свести задачу к типовой.

Alexander-Semenov Автор вопроса
Alexander Semenov
А можно без "прокрустового ложа"? Мне б феномене р...

Хотя, признаться честно, сюда я чаще захожу за обратным.

Alexander Semenov
А можно без "прокрустового ложа"? Мне б феномене р...

так феномен очень простой, в реальных данных часто скрыты ошибки измерений, которые в модель пускать не нужно ... логорифмирование - это просто попытка получить нормальное распределение, есть еще преобразование Бокс-Кокса, попробуйте тоже

Напоминает разброс по фьючам на одной паре по объёму/цене актива

Alexander-Semenov Автор вопроса
Dm Kb
так феномен очень простой, в реальных данных часто...

А если исходить из того, что это чистая характеристика коррелируемых фичей? По крайней мере одной из двух -- точно.

Alexander-Semenov Автор вопроса
Александр Bobov
Напоминает разброс по фьючам на одной паре по объё...

Может потому, что это корреляция цены битка с жужжанием в интернетах?

Alexander Semenov
А если исходить из того, что это чистая характерис...

так можно исходить из чего угодно, природе вообще основательно плевать как мы ее воспринимаем, давайте фактуру того, что за данные и тогда обсудим природу возможных искажений

Alexander Semenov
Может потому, что это корреляция цены битка с жужж...

все ценовые истории имеют логнормальное или около того распределение

Alexander-Semenov Автор вопроса
Dm Kb
так можно исходить из чего угодно, природе вообще ...

Ну вот цена битка -- это "реальность, данная нам в ощущениях". Тут ошибке измерения взяться неоткуда. У второго временного ряда (интернетное жужжание) ошибки измерений, естественно, есть. Одна из них связана тупо с тем, что регулярно добавляются новые источники жужжания.

Alexander Semenov
Ну вот цена битка -- это "реальность, данная нам в...

цена битка может формироваться на низкой ликвидности, что как раз может быть не вполне объективным замером... т.е. брать котировки битка из 2014 года - уже немного не то

Alexander Semenov
Ну вот цена битка -- это "реальность, данная нам в...

Жёска. Да там по объему жужжания и офигеть можно. Ещё же есть всякие даркнеты, или по принципу Аваланча были засланы боты для сканировария?

Alexander-Semenov Автор вопроса
Dm Kb
все ценовые истории имеют логнормальное или около ...

Ну в данных по зарплатам, выручке и подобному я к такому привык, да. То, что с ценами также для меня новость.

Alexander Semenov
Ну в данных по зарплатам, выручке и подобному я к ...

экономика - она такая )) попробуйте логорифм взять, дольше обсуждать природу этой операции чем просто посмотреть результат

Alexander-Semenov Автор вопроса
Александр Bobov
Жёска. Да там по объему жужжания и офигеть можно. ...

Без даркнетов. Все "обычные подозреваемые", парсинг которых не имеет юридических рисков.

Alexander Semenov
Без даркнетов. Все "обычные подозреваемые", парсин...

помню на заре криптопомешательства биток хорошо следовал за ICO и еще чуть позже за google trends , но потом туда пришли большие деньги и понеслось ...

Alexander-Semenov Автор вопроса
Dm Kb
цена битка может формироваться на низкой ликвиднос...

Настолько дзен битка я ещё не познал. Спасибо, интересно. Давно не сталкивался с предметной областью в которой я ничего не понимаю, но при этом мне действительно интересно.

Alexander-Semenov Автор вопроса
Dm Kb
помню на заре криптопомешательства биток хорошо сл...

Я сегодня хотел тут спросить, где пожать руку Мастицкому за то, что его книга по анализу временных рядов построена на примерах из криптовалют =)

Alexander Semenov
Я сегодня хотел тут спросить, где пожать руку Маст...

он в Лондоне, год назад с ним разговаривали ))) думаю, он уже не вернется, он выступал на конференции R т.е. виртуально пожать ему руку можно

Dm Kb
он в Лондоне, год назад с ним разговаривали ))) ду...

Ну можно поехать в Лондон. Пожать руку Мастицкому отличный повод, я считаю

Alexander-Semenov Автор вопроса
Alexander-Semenov Автор вопроса
Dm Kb
экономика - она такая )) попробуйте логорифм взять...

Для меня взятие логарифма -- это способ запихнуть неудобную реальность в удобную модель. А тут в кои-то веки приспичило в структуре реальности разобраться. От того, что я принесу коэффициент корреляции 0.96 вместо 0.86 радикальной разницы не будет.

Alexander Semenov
Для меня взятие логарифма -- это способ запихнуть ...

производная по логорифму - это функция в знаменателе т.е. по факту с точки зрения экономики вы просто переходите от абсолютных величин к процентным (относительным) т.е. такой трюк имеет вполне нормальное аналитическое и интерпретируемое обоснование ))

Alexander Semenov
What do we say to the god of calculus?

"почему я прогуливал пары в вузе?" :)))))

Alexander-Semenov Автор вопроса
Philipp Upravitelev
"почему я прогуливал пары в вузе?" :)))))

Согласно моим картам, цена вопроса если сильно надо -- 12 видосов: https://app.learney.me/

Alexander-Semenov Автор вопроса
Dm Kb
помню на заре криптопомешательства биток хорошо сл...

Вот тут можно посмотреть исходник: https://app.santiment.net/s/d9HJnEpm

Dm Kb
помню на заре криптопомешательства биток хорошо сл...

Мне это напоминает фильмы с Кейджем и самоубийства в США. Скоррелированы? Да. Влияют ли друг на друга? Нет.

Alexander-Semenov Автор вопроса
Сергей Ильин
Мне это напоминает фильмы с Кейджем и самоубийства...

Но в целом в этом чате такие вещи стоит упоминать разве что в ироничном ключе.

Сергей Ильин
Мне это напоминает фильмы с Кейджем и самоубийства...

Ну в теории можно поискать причинность и посмотреть эндогенность

Очень интересно, никогда в жизни не смотрел глазами на такой разброс, всегда пихал в линейную (а потом в нелинейную) модель лаги и смотрел на важность фичей. А ведь зря, наверное, на этих графиках можно чё то и увидеть!

Alexander-Semenov Автор вопроса
Ілія Малекі
Очень интересно, никогда в жизни не смотрел глазам...

Осталось только понять, что именно на них можно увидеть.

Похожие вопросы

Обсуждают сегодня

Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
46
подскажите пожалуйста, как мне освободить результат записанный в переменную result? в чем проблема подскажите если МОЖЕТЕ?
Михаил Helper
28
вопрос по москвину - не понимаю вот такого вопроса похоже Сколько разных всегда завершающихся функций с типом a -> a -> b -> a -> a можно реализовать? Две функции одинаково...
Fedor
11
Слушайте, ещё такая интересная задачка. Сделан аудит действий пользователей через триггеры в базе, соответственно каждый пользователь имеет свой логин и пароль в базе. Это пре...
Сергей Бычков
11
есть тут кто-то , кто только начал изучать си? если проходите курс на степике или как-то сами изучаете, пишите, может, скооперируемся?..
Eule
25
Скажите, тут нет проблемы? IMyInterface1 = interface function GetInterface2: IInterface2; ... function TMyInterface.GetInterface2: IInterface2; begin Result := TI...
Ruslan aka DUDE
18
Утра доброго. Просветите пожалуйста. Хочу сделать rest сервер на делфи. Посмотрел 3 фреймворка: dmvc, Mars, mormot. Ни в одном из них не упоминается ассинхронная обработка вхо...
Сергей Бычков
10
возможно для форматирования TimeStampZ нужен другой механизм, не?
Роман Лях (rgreat)
13
вопрос странный немного... в секции interface идёт константа const TableExt: array [0..39] of record _type: byte; _ext : string; end = ( (_type:typeDAT ...
Alexey Kulakov
5
Всем привет! Помогите разобраться с Lazarus. Переношу программу с Delphi 10.2 Tokyo на Lazarus 3.2. У меня есть строка string которая изначально имеет такое содержание (то чт...
Дмитрий Завгородний
4
Карта сайта