естественно не читаются русские буквы.
Строка имеет такой вид
(129551) Молоко ультрапаС
перевожу весь столбец в кодировку cp-1251 и ловлю ошибку
'charmap' codec can't encode character '\u045a' in position 10: character maps to <undefined>
Как обойти?
iconv, recode
s.encode('cp1251').decode('utf8', 'replace')
Если под линуксом, то кодировка там другая РТ154 вроде.
cp866?
cp1251. Это точно, но в конце непонятный знак, не из из cp1251. Если он в каждой строчке, может просто отрезать последний символ?
Попробуй прочитать тот-же csv с помощью datatable, он более всеяден в плане чтения csv, вдруг прокатит. Потом сможешь сконвертировать в датафрейм pandas
Обсуждают сегодня