😁
Короче. У меня есть две новости по плагину помогающему загружать адреса из ЕГРН.
Выкралось немного времени между играми, фильмами, сериальчиками и вчера запилил версию 0.6.0.1. Встречайте в своих менеджерах модулей.
1. Переписал полностью первую MVP версию работы с улицами. Теперь она основана на типах, а типы описываются в yml файлах, и там же правила парсинга. Этот подход позволит в будущем добавлять неограниченное чило парсеров и мы сможем легко определить улицу и корректно её назначить на выбранные нами дома (напоминаю что сама улица изначально должна уже быть на карте OSM). Это уже сделано для переулков.
Дальнейшие работы будут заключаться именно в дополнении всевозможных адресов. Поэтому пишите мне в issue всевозможные примеры из ЕГРН. Ну и вообще сообщайте туда об ошибках. В уютном чатике редко сижу.
2. Грязный хотфикс для pkk... Ява почему-то не может определить корневой сертификат, и я тупо игнорирую это. Фикс требует навыков, которых у меня пока нет. Поэтому заглушил. Данные ходят, и ладно (jpeg с известным персонажем из советского мультика).
3. Данные то ходят, но... короче тут плохая новость. ПКК видимо зафиксировали у себя большое количество запросов и стали рубить частые запросы. Методом проб и ошибок удалось подобрать 100% рабочий конфиг: 1 запрос через 1 секунду.
В целом я их понимаю, поэтому в конфиге плагина изначально нельзя сделать больше 10 одновременных запросов. В дальнейшем эта опция будет убрана в экспертный режим.
Боюсь как бы ПКК вообще нафиг не отрубила нам API.
В общем как-то так.
По плану:
1. Добить типы, наеболее часто встречаемые.
2. Сделать видеогайд.
3. Запилить статью в блоге, где мы рисуем деревню с нуля (если такие ещё остались). Со своими адресами, салунами и блекджеком.
4. Тесты! Это важно.
5. Дальнейший рефакторинг Г кода и мелкие фичи.
Из интересного, по taginfo из ЕГРН уже загружено 5к адресов. Это только те где стоит тег источника.
И не забывайте убирать теги fixme!
Очень круто!
Спасибо!☺️
я только не понял по третьему пункту, откуда у нас свои адреса?
Ты про план?) Там речь про деревню нарисованную с нуля с улицами как положено. Имеется ввиду что у каждого населенного пункта свои улицы.
улица Ленина в Москве и улица Ленина в Екатеринбурге, это разные улицы.
> Лимит одновременных запросов (от 1 до 10) Опция которой быть не должно. Я у себя на работе тупо на один поток перешёл и случайную задержку между запросами в 0,2 - 1 секунду. Уж лучше так, чем бан по IP на сутки.
Раньше было 3 одновременнхы запроса. Между запросами 3 секунды.
я тоже скорее всего переделаю и уберу многопоточность. В рамках рефакторинга.
Не понял насчет слишком частых запросов. Почему не сделать в настройках чтобы отправлялся 1 запрос в секунду? Почему не сделать чтобы программа сама отправляла повторные запросы в случае отказа на первую попытку? И диалоговое окно рисовать с двумя прогресс-барами и тремя дублирующими их строчками цифр: прогресс запросов (от общего числа), прогресс успешных ответов (от общего числа), число запросов, число ответов/общее число запросов, число ошибок
Будет много запросов забанят по ip. Меня как то habr забанил, я сначала даже подумал что их роскомнадзор того самое, потому что через vpn открывался нормально. Сначала обратился в службу поддержки провайдера, но там сказали что все должно быть нормально. После некоторого гугления нашел похожий случай, оказалось на хабре есть защита от дос и похоже тот серый ip, что выдал провайдер попал в черный список. Написал в техподдержку хабра и дня через 4 сайт стал снова открываться нормально.
хых. Так же было когда через тор на все сайты заходил.
У меня знакомый когда-то писал бота для ЖЖ. Когда его бота забанили, он просто сделал чтобы каждый запрос присылался в тор через другой маршрут.
у меня было как-то, что нельзя было на сайт гугла зайти без капчи, типа превышено количество запросов. Даже скрин тогда сделал, чтобы на вопрос тебя на гугле забанили показывать его ))
Что там с этим проектом сегодня? Плагин ещё работает?
Обсуждают сегодня