Я бы сильно не слушал Дениса. проверьте скорость вас устраивает?

Question

pgsql – PostgreSQL

Alexey Bulgakov

Я бы сильно не слушал Дениса. проверьте скорость вас устраивает?

и что вы собираетесь делать с данными в таблице? может там и индекс не нужен

#backend #devops #pgsql #programming #russian

0

22.01.2022

15 ответов

24 просмотра

Alexey Bulgakov Автор вопроса

ks
скорость пойдёт для заливки. То есть скорость в 71...

проблема в том, что вы не базист и не понимаете некоторые элементарные вещи. можно конечно посидеть поизучать несколько месяцев, но вряд ли вам это подходит

0

22.01.2022

central hardware

ks
скорость пойдёт для заливки. То есть скорость в 71...

как бекенд для хранения postgres, не спец в full text search но звучит довольно странно, так как для него нужны специлизированные структуры данных весьма далекие от реляционной таблицы

0

22.01.2022

ks

Alexey Bulgakov
проблема в том, что вы не базист и не понимаете не...

прям всё в точку. Но вот вы базист. Вам бы дали файл, кодировка сломана. Задача загнать файл в таблицу. Как сделаете и на какую скорость заливки будете рассчитывать? Образно.

0

22.01.2022

central hardware

central hardware
как бекенд для хранения postgres, не спец в full t...

представители науки в данном случае обычно говорят, БД не нужны пишем файл и индекс сами своими руками

0

22.01.2022

ks

central hardware
как бекенд для хранения postgres, не спец в full t...

пофиг. Я поиски делал, этот конечно необычный будет.

0

22.01.2022

Alexey Bulgakov Автор вопроса

ks
прям всё в точку. Но вот вы базист. Вам бы дали фа...

я писал массивом бы загнал, размер массива подобрал

0

22.01.2022

ks

Alexey Bulgakov
я писал массивом бы загнал, размер массива подобра...

но чем отличается мой загон по 50 записей одновременно? Только что у меня insert, а массив в java создал?

0

22.01.2022

Alexey Bulgakov Автор вопроса

ks
но чем отличается мой загон по 50 записей одноврем...

50 записей мало :) попробуйте 300, 500, 1000 и я не спец по джава, как из него лучше

0

22.01.2022

ks

Alexey Bulgakov
50 записей мало :) попробуйте 300, 500, 1000 и я н...

то есть вы думаете, что для увлечения скорости, надо увеличивать запрос в размере. Забивая 1 гигабайт, который может быть в запросе pg. Но вы не спец, но Дениса, по вашим словам вообще лучше не слушать. Ясно.

0

22.01.2022

Alexey Bulgakov Автор вопроса

ks
то есть вы думаете, что для увлечения скорости, на...

нет, надо увеличить размер пачки при вставке. способ сами выберите. я не спец по джаве. если у вас проблемы в скорости из-за джава (например автокомит или еще какие задержки), то я не помогу

0

22.01.2022

Ilya Anfimov

Alexey Bulgakov
проблема в том, что вы не базист и не понимаете не...

Почему? Кмк как раз подходит, отличная тренировочная задача.

0

22.01.2022

Alexey Bulgakov Автор вопроса

Ilya Anfimov
Почему? Кмк как раз подходит, отличная тренировочн...

если у него это разовая задача, то он все забудет через пару месяцев

0

22.01.2022

ks

Alexey Bulgakov
если у него это разовая задача, то он все забудет ...

Вы реально телепат. Да, это разовая задача. файлов несколько, но это разово.

0

22.01.2022

Евгений Смирнов

ks
скорость пойдёт для заливки. То есть скорость в 71...

Если вам нужен полнотекстовый поиск в более-менее статичных файлах и искать нужно не один раз, то лучше посмотрите в сторону sphinxsearch / manticoresearch. Оба хотят довольно много оперативки, хотя у первого это настраивается.

0

22.01.2022

ks · Accepted Answer

скорость пойдёт для заливки. То есть скорость в 710 килобайт в секунду не устраивает, но работу мою выполнит. Тем не менее ничего не понятно. С данными скорее для обучения. Задача есть туча (там несколько файлов) строк, написать самостоятельно живой поиск по ним. Самостоятельно! там в теории есть как это можно использовать, но сейчас я для этого юзаю греп, за 8 минут он перебирает файл на 55 гигабайт. Рабочее решение.

172 похожих чатов

Я бы сильно не слушал Дениса. проверьте скорость вас устраивает?

15 ответов

Похожие вопросы