Всем привет! Для дипломной работы разрабатываю приложение, читающее текст в

играх. Можете дать совет насчёт детектора текста для последующего OCR?
Изображения - скриншоты из игр

Были произведены эксперименты на основе следующих решений:
1) Paddleocr detector & reader:
+Имеет высокую точность работы;
-Очень медленно работает;
-Замораживает приложение даже при работе в отдельном потоке;
-Потребляет очень много ресурсов.

2) EasyOCR detector & reader:
+Имеет неплохую точность;
+Не замораживает приложение из отдельного потока;
-Потребляет много ресурсов (более 60% ЦПУ i9 9900k, 2Гб ОЗУ при запуске на цпу, более 15% ГПУ RTX 2070S при запуске на гпу).

3) YOLO detector & Tesseract reader:
+Быстрая скорость работы
+Не замораживает приложение из потока;
+Неплохо детектит текст;
-YOLO потребляет много ресурсов (более 60% ЦПУ i9 9900k, 3Гб ОЗУ при запуске на цпу, более 20% ГПУ RTX 2070S при запуске на гпу);
-Tesseract читает текст, но часто видит фантомные буквы.

4) Dilate/erode/findCounturs detector & Tesseract reader:
+Очень быстрая скорость работы;
+Потребляет очень мало ресурсов;
-Детектор реагирует не только на текст, определяя пустые области изображения;
-Детектору требуется очень точный тюнинг фильтрации;
-Tesseract читает текст, но часто видит фантомные буквы;
-Tesseract работает довольно долго из-за проверки пустых задетекченных областях изображения.

5) East detector & Tesseract reader:
+Не замораживает приложение из отдельного потока;
+Работает относительно быстро (0.5 fps)
+- Потребляет относительно немного ресурсов (35% CPU i9 9900k, 600Мб ОЗУ);
-Tesseract читает текст, но часто видит фантомные буквы;
-Tesseract работает довольно долго из-за проверки пустых задетекченных областях изображения.


Выводы: По итогу решил выбрать пятый вариант, т.к. он самый сбалансированный и имеет относительно неплохую точность.

Вопросы:
1) Можно ли как-то улучшить точность детекции текста при использовании дилляции и findCounturs (в данный момент используется вручную подобранный порог бинаризации)?

2) Можно ли как-то улучшить качество чтения строки текста из задетекченного участка изображения?

3) Есть ли ещё какое-то решение, о котором я не писал выше?

Надеюсь что у кого-то был опыт, заранее спасибо

привет! делал бота-трейдера для одной ммо, остановился на тессеракте. Был ряд проблем но решилось через 1) дообучение с хорошей аугментацией с различным позиционированием текста и цифр 2) долго экспериментировал с предобработкой в cv2 пока не подобрал вариант с лучшим скором 3) т.к. бот работал только у меня, я в итоге решил цеплять изображения с определенных мест экрана, сильно ускорило процесс

Если не секрет, то какие решения Вы применяли для предобработки?

Каким образом можно заморозить приложение в отдельном потоке? Что Вы понимаете под "заморозить"?

Я запускаю респознавание текста в отдельном потоке. И в тот момент, когда запускается функция распознавания, всё приложение, в том числе и gui замораживается.

Понимаете, ОС сама контролирует работу потоков, а не ваша библиотека. У Вас либо весь комп тормозит, либо загруженный поток, возможно есть возможность каким-то образом загрузить весь процесс, но я о таком не слышал. В общем это оооочень странная вещь