169 похожих чатов

Как говорится, и снова здравствуйте! :) Есть новая головоломка для

джедаев.

Есть FCGI скрипт, в который пользователь отправляет файл CSV, файл сохраняется на сервер, дальше я достаю из него данные (использую Text::CSV::Encoded), делаю с ними небольшие манипуляции, и записываю измененные данные в новый файл, который потом загружаю в MySQL (8 версия) с помощью LOAD DATA LOCAL INFILE.

Небольшие файлы размером 10-20К строк обрабатывались без вопросов, а вот при попытке загрузить 250К строк я в какой-то страшный ад попал на неделю. MySQL начал дублировать некоторые строки при импорте, хотя в исходном загружаемом файле (уже после обработки) количество строк было всегда правильным! И вот я открываю этот файл vim'ом, смотрю - в нем все отлично, 250К строк, смотрю в MySQL после загрузки - а там 290К стало, некоторые тупо продублировались. Но эту фигню я смог победить - начал загрузку в MySQL вызывать не из Perl скрипта, а стал вызывать mysql команду как системную, и из неё вызывал LOAD DATA INFILE (уже без LOCAL). И после этого всё стало работать правильно!

Но, обнаружился новый баг, который я никак не могу побороть. Скрипт начинает читать один файл, редактировать данные, записывает их в новый файл, но как только доходит до конца, эта операция начинает работать сначала. То есть, каждый файл, который у меня создается для загрузки в MySQL, создаётся два раза! Я прямо сижу в консоли, делаю ls -l, и вижу как он по новой начинает создаваться, а в скрипте ничего такого нет, никакого цикла, или чего-то, что бы явно могло мне делать эту фигню.

Может, есть какие-то догадки? Могу прислать код в студию.

2 ответов

9 просмотров

А ты имя файла перед открытием каждый раз новое делай и потом логи почитай

Похожие вопросы

Обсуждают сегодня

Не многие знают, а кто знает, тот уже успел забыть, что в далёком 2004 году эта игра произвела настоящий фурор, настолько революционной была технология, применяемая для её соз...
ICCID
4
@Aiwan что такое база образца?
Alexey
27
Хотя у меня сейчас есть более сложная задача, вот её думаю: как объяснить челу переходного возраста противоположного полу, обучающегося в польском колледже (а-ля наш техникум)...
Вячеслав Кузьменко
15
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
30
Hi Everyone! To all Are you Looking for Interview Support at the Lowest Price? Look no further! Then contact us We offer Interview Support for a low cost variety of technol...
Rambabu Nallamilli
3
верно что я могу удалить эти addq и subq т.к. со стеком никакого взаимодействия нет (исключая call)?
Michael
16
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
Что думаете об ассемблерах с завтипами? https://www.cs.cmu.edu/~rwh/papers/dtal/icfp01.pdf
smt model 1
7
Карта сайта