172 похожих чатов

Парни, подскажите варианты каким образом из базы данных MySql возможно

извлечь только уникальные записи?
Есть 100 гиговая база данных словарей в мускуле, я делаю такой запрос:
SELECT DISTINCT(dic) FROM dictonary into outfile 'C:/path/to/file.txt'
И в папке data (рабочая директория мускуля) создается файл ibtmp1 который сначала стремительно наполняется информацией, но потом затухает и тихонько начинает незначительно увеличиваться в размере, ждал дней 5, после чего мускуль от объема данных походу падает или уходит в глубокую нирвану, т.е. дальше ждать уже бессмысленно.


сама структура таблицы:

CREATE TABLE dictonary (
dic TEXT NULL
)
COLLATE='latin1_swedish_ci'
ENGINE=MyISAM
;

Судя по всему или мускуль такой объем данных обработать не может, или у меня где то косяк в структуре или действиях.
Забегая вперед сразу скажу, линуксовая софтина sort тоже давится таким объемом, а кроме неё с огромными объемами ни одна софтина не справится (ждать месяцы для сортировки я не готов), какие то сложные решения типа других СУБД тоже мало интересны.
Буду признателен, если кто что подскажет.

2 ответов

6 просмотров

1. Создай индекс

Ого как вы ее раздули. Здесь надо массово-параллельную БД

Похожие вопросы

Обсуждают сегодня

анрей С какой целью зашёл?
КТ315
42
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
15
Я не очень много работал с потоками, тут возник вопрос - если будет одновременный доступ к памяти из двух разных потоков, это само по себе приведет к ошибке?
The Bird of Hermes
25
Слушайте, никак не могу заставить работать сортировку в TClientDataSet! Вроде все делаю правильно, создаю индекс, присваиваю его название ClientDataSet1.IndexName, первый раз...
Ivan Burnatov
7
а вот интересный вопрос появляется: допустим у нас есть приложение с системой модулей. Будет ли считаться система модуль+прога ассемблерной программой если: а) Прога на Си, м...
Mixail Frolov
29
я в заголовке имплементировал функцию. В заголовке стоят гарды. Но я все равно получаю multiple definitions. Как это может происходить?
Павλо 🇺🇦
15
как можно вывести первые 100 символов поля content на странице?
Artem
10
Или у тебя COMChecker ловит только свои сообщения, которые он отправил? Не знаю, как у тебя он работает.
КТ315
11
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Как это? А скрин ошибки хоть есть?
Александр (Rouse_) Багель
14
Карта сайта