Всем привет, в рамках обучения решил сделать задачку: Есть текстовый файл

Question

Всем привет, в рамках обучения решил сделать задачку: Есть текстовый файл

+-10гигов, необходимо максимально эффективно по памяти и быстро найти сколько раз повторяется определенное слово, набросал такой код https://play.golang.org/p/fXAEiqHlgOj

Проблема в том, что, когда я построчно считываю в отдельной рутине файл и отправляю слайс байт по каналу дальше, у меня иногда обрезается начало строки, а иногда конец (по 1 символу). Причем, чем меньше весит файл, тем реже такой эффект проявляется. Если же я читаю в мейне и не отправляя по каналу считаю количество дубликатов, то строки не обрезаются и все корректно работает.

Есть у кого какие идеи что это может быть?

#backend #go #programming #russian

0

13.06.2021

7 ответов

16 просмотров

Sergey Автор вопроса

Andrey Burov
https://golang.org/pkg/bufio/#Reader.ReadLine Read...

Пробовал, тоже самое.

0

13.06.2021

Andrey Burov

Sergey
Пробовал, тоже самое.

проблема плавает или на определенном файле постоянная?

0

13.06.2021

Sergey Автор вопроса

Andrey Burov
проблема плавает или на определенном файле постоян...

Плавает. Обычные txt, созданные через блокнот на маке.

0

13.06.2021

Andrey Burov

go func(wg *sync.WaitGroup) { тут это не нужно

0

13.06.2021

Sergey Автор вопроса

Andrey Burov
go func(wg *sync.WaitGroup) { тут это не нужно

Почему не нужно? Иначе читающая сторона зависнет с ожиданием новых значений.

0

13.06.2021

Andrey Burov

Sergey
Почему не нужно? Иначе читающая сторона зависнет с...

я про передачу WG как аргумента

0

13.06.2021

Andrey Burov · Accepted Answer

Andrey Burov

https://golang.org/pkg/bufio/#Reader.ReadLine ReadLine is a low-level line-reading primitive. Most callers should use ReadBytes('\n') or ReadString('\n') instead or use a Scanner. используйте https://golang.org/pkg/bufio/#Scanner scanner.Text()

0

13.06.2021

170 похожих чатов

Всем привет, в рамках обучения решил сделать задачку: Есть текстовый файл

7 ответов

Похожие вопросы