215 похожих чатов

У кого-нибудь есть пример использования кастомных функций поиска для pandas? Суть

такова. Есть колонка с строкой. Мне нужна функция, которая будет искать ключевые слова из словаря в строке и заполнять новую колонку датафрейма ключами этого словаря. Причём нужна реализация, которая будет бережно относиться к памяти и загруженности процессора. Строк пару сотентысяч.

Делать лучше через regex или есть лучшие варианты по производительности?

3 ответов

5 просмотров

пару сотен тысяч строк - без разницы.

Pandas работает в 1 поток, если не влезает в память - dask или vaex, ну или чанками грузи , для многопоточности pandarallel

words = бла бла бла путь до файла или влоб в сторону датафрейма words_list = Counter(words).most_common(common_score) df = pd.DataFrame(words_list, columns=['Words','Score'] переписываешь words_list в сторону своей задачи, в оригинале считает количество повторений слов.

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Ошибка: segmentation fault (core dumped) Код: pastebin.com/BEsNNSSV Сообщение от компилятора: отсутствует ОС: Arch Linux Ядро: x86_64 Linux 6.9.7-arch1-1 Процессор: Intel Cele...
sec
4
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
@ahndmn @ayaw0_0 здарова, на чем пишете?
Aiwan \ (•◡•) / _bot
7
Коллеги, как получить PId для собственного процесса из под линукса?
Роман Лях (rgreat)
6
Карта сайта