Есть ли противопоказания самопальной интернации строк в хэшсете? вводные данные:

Question

Есть ли противопоказания самопальной интернации строк в хэшсете? вводные данные:

боремся за память, 15-20 миллионов строк отжирают полтора гига. Уникальных - в пределах десятка тысяч. Предполагаем строки использовать примерно так:
string StringPool.GetOrAdd(string key).

За - память сохраним.
Против - перфоманс пострадает, очевидно. Возможно, придется еще и лок ставить, если адаптируем решение к мультипоточности.

Системный String.Intern не берем, т.к. оно строки хранит до выгрузки CLR, что неприемлемо.

#net #programming #russian

0

14.01.2022

13 ответов

30 просмотров

Ivan Balanar Автор вопроса

Alexey Tkachenko
вы что-то переводите в строки или они сами по себе...

строки задают своего рода пути. Так сложилось исторически, менять это - значит погружаться в куда более плотный рефакторинг, нежели интернация строк.

0

14.01.2022

Ilya Chernoudov

А откуда берётся много одинаковых строк?

0

14.01.2022

Ivan Balanar Автор вопроса

Ilya Chernoudov
А откуда берётся много одинаковых строк?

много одинаковых "путей" у разных объектов :)

0

14.01.2022

Ilya Chernoudov

Ivan Balanar
много одинаковых "путей" у разных объектов :)

Они через stringfotlrmat создаются?

0

14.01.2022

Ivan Balanar Автор вопроса

Ilya Chernoudov
Они через stringfotlrmat создаются?

погляжу, но мы все-таки совсем не туда удалились. Я хотел бы знать про стринг пулы, нет ли у них роковых недостатков, о которых все в курсе, кроме меня?

0

14.01.2022

Ilya Chernoudov

Ivan Balanar
погляжу, но мы все-таки совсем не туда удалились. ...

Особых вариантов не много

0

14.01.2022

IdiocyAcceptance

Ivan Balanar
погляжу, но мы все-таки совсем не туда удалились. ...

На самом деле достаточно туда, так как мне вот в голову приходит InterpolatedStringHandler, который будет билдить строку через какойнибудь ArrayPool<char>, потом сразу же смотреть строку в пуле и, если что, возвращать её

0

14.01.2022

IdiocyAcceptance

IdiocyAcceptance
На самом деле достаточно туда, так как мне вот в г...

Точнее, идея в том, чтобы не создавать строку, а считать хеш по получившимся чарам и создавать строку только в случае, если её нет в пуле

0

14.01.2022

Ivan Balanar Автор вопроса

Ilya Chernoudov
Они через stringfotlrmat создаются?

В основном string.Format, но есть и Concat и просто +. Да, аллокации лишнии здесь возможны, но все-таки основное - что бы они хотя бы прибивались, а не плодили копии в памяти.

0

14.01.2022

Ilya Chernoudov

Ivan Balanar
В основном string.Format, но есть и Concat и прост...

Если делать пул, то непонятно как удалять оттуда объекты

0

14.01.2022

Ivan Balanar Автор вопроса

Ilya Chernoudov
Если делать пул, то непонятно как удалять оттуда о...

~10к можно и хранить

0

14.01.2022