Друзья, а никто не сталкивался с необходимостью подсчитать checksum файла? У

меня тут вопрос возник - а что, если пользователи будут загружать большое количество одинаковых файлов, не рационально ли будет считать контрольные суммы, и, в случае, если контрольная сумма уже имеется, то вместо загрузки файла в хранилище - просто возвращать ссылку на имеющийся.

Собственно вопрос - как лучше всего реализовать подобное без использования сторонних библиотек. Есть ли в стандартном наборе Python 3.9 что-то для реализации подобного? Как оно считает контрольную сумму у больших файлов ?

Мне именно подсчитать контрольную сумму нужно

#backend #programming #python #russian

30.10.2021

19 ответов

10 просмотров

Alex

hashlib

30.10.2021

Sapienti Sat Автор вопроса

Alex
hashlib

def md5sum(filename): hash = md5() with open(filename, "rb") as f: for chunk in iter(lambda: f.read(128 * hash.block_size), b""): hash.update(chunk) return hash.hexdigest() Так ведь подходит?

30.10.2021

Alex

Sapienti Sat
def md5sum(filename): hash = md5() with o...

норм, но блок можно взять и побольше.

30.10.2021

Sapienti Sat Автор вопроса

у сотни пользователей может быть одинаковый файл, они его будут грузить, но с разными именами (имя, описание итд + ссылка на файл хранятся в БД). Например, один загрузит с названием ххх.docx и заголовком "пример договора на ... ", а второй загрузить тот же xxx.docx с заголовком "образец договора на ...". Зачем хранить 2 файла, когда можно хранить 2 записи в БД, но с одной общей ссылкой на файл :)

30.10.2021

Alex

охуенный план отстрелить себе яйца

30.10.2021

evgeniy

Alex
охуенный план отстрелить себе яйца

Почему?

30.10.2021

Alex

Sapienti Sat
у сотни пользователей может быть одинаковый файл, ...

насколько вообще целесообразно заморачиваться такими вещами в век S3?

30.10.2021

Alex

evgeniy
Почему?

потому что ты путаешь свой сраный локалхост и поиск дубликатов файлов с решением этой задачи в рамках сервиса.

30.10.2021

Sapienti Sat Автор вопроса

Alex
насколько вообще целесообразно заморачиваться таки...

Я старпёр :( оптимизация и всё такое сразу закладывается. В приоритете качество и скорость работы, вместо скорости разработки. Да и денег сэкономить на серверах после запуска MVP

30.10.2021

evgeniy

Alex
потому что ты путаешь свой сраный локалхост и поис...

Так его функция делает тоже самое. Вроде.

30.10.2021

Проксимов Прксимович

Sapienti Sat
у сотни пользователей может быть одинаковый файл, ...

Откуда у них одинаковый файл)?

30.10.2021

Alex

evgeniy
Почему?

1. в условиях задачи не обозначены размеры файлов. 2. не обозначены требования по памяти для сервиса. 3. не обозначены предполагаемое количество одновременных операций.

30.10.2021

denis

Sapienti Sat
у сотни пользователей может быть одинаковый файл, ...

ват?

30.10.2021

Alex

evgeniy
Так его функция делает тоже самое. Вроде.

нет, твоя функция читает весь файл в память и потом уже вычисляет его хеш.

30.10.2021

evgeniy

Alex
нет, твоя функция читает весь файл в память и пото...

А, это да.

30.10.2021

denis

Sapienti Sat
Я старпёр :( оптимизация и всё такое сразу заклады...

лучше делать быстрее везде где только можно

30.10.2021

Alex

что ты подразумеваешь под "нативно считается"?

30.10.2021

Taras

Alex
что ты подразумеваешь под "нативно считается"?

Hashlib, не сьорд-пати что-то

30.10.2021

Alex

Taras
Hashlib, не сьорд-пати что-то

ШТА?

30.10.2021

Похожие вопросы

Python / Evgeniy Blinov

Подскажите, существует ли готовый декоратор, который можно навесить на функцию, и который проконтролирует, что поступающие в нее параметры соответствуют тайпхинтам?

#backend #programming #python #russian

26.09.2023

85 ответов

Python / Ilya

/home/rpi1/Desktop/Python-3.8.15/PolarizedCameraCalib/bin/python3.8 -m pip install pandas==1.5.2 Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple C...

#backend #programming #python #russian

04.11.2023

36 ответов

Python / blockii

Тяжела жизнь джуна, 0 приглашений на собес, я вот не понимаю, как они определяют, что я им не подхожу?

#backend #programming #python #russian

12.11.2023

48 ответов

Python / $

Парни,как двигаться в питоне дальше?Пока что только ботов писал...Что нужно ещё уметь,чтобы стать джуном?

#backend #programming #python #russian

23.09.2023

65 ответов

Python / Будина

Dart это хороший язык для?

#backend #programming #python #russian

22.08.2023

67 ответов

Python / Михаил

Добрый вечер. Не знаю, как загуглить вопрос, поэтому пришлось в чаты. Я запустил асинк скрипт, который в процессе работы не нашёл нужный компонент и после прерывания работы пр...

#backend #programming #python #russian

23.10.2023

46 ответов

Python / ))

Ребят,кто шарит в теме программирования,я просто совсем нет) стоит учить язык си, обычный без плюсов и тд?

#backend #programming #python #russian

05.11.2023

45 ответов

Python / garrip91

Всем здравия! Люди, как мне построчно (желательно с указанием индекса или номера строки) прочитать содержимое файла CSV с последующим преобразованием содержимого в список? Же...

#backend #programming #python #russian

29.07.2023

65 ответов

Python / Сергей

Всем привет, не подскажете, это нормально если 100 тысяч записей в csv обрабатываются 20-30 минут?

#backend #programming #python #russian

10.10.2023

49 ответов

Python / Tishka17

Зачем вам вообще докеры и всл на винде? Юзаете просто виндовые проги

#backend #programming #python #russian

26.09.2023