Коллеги, добрый день! @obartunov, подскажите, возможно ли настроить fts таким образом,

Question

Коллеги, добрый день! @obartunov, подскажите, возможно ли настроить fts таким образом,

чтобы была поддержка emails с кириллическими адресами? Например, admin@москва.рф.
На текущий момент, скажем, Google и Yandex такие адреса поддерживают, — следовательно, подобные случаи имеют место быть (равно как и русскоязычные доменные зоны).
Из коробки, в версии PostgreSQL 13.3, такие адреса не распознаются как emails, см.:
select ts_debug('admin@москва.рф');

Это, конечно, весьма нежелательное поведение, т.к. получаются следующие лексемы (на входных данных из примера выше):
'admin':1 'москв':2 'рф':3

Что ведет к "условно-неверным" результатам поиска впоследствии.

#backend #devops #pgsql #programming #russian

0

23.05.2021

6 ответов

10 просмотров

Petr Автор вопроса

@obartunov ?

0

25.05.2021

Oleg Bartunov

Oleg Bartunov
Можно свой парсер подключить, посмотрите на https:...

Teodor его писал, скорее всего ему там на пять минут шаманства. Действительно, тогда мы не думали про кирилический домены.

0

25.05.2021

Tarakanov Oleg

Добрый день. Извините, возможно уже было такое предложение: кириллический домен, насколько мне известно преобразуется в латиницу, например москва.рф. - xn--80adxhks.xn--p1ai. Т.е. будет 2 поля с мейлом: отображаемое и фактическое (для отправки)

0

25.05.2021

Denisio

это называется International Domain Names (IDN), там вполне простой алгоритм декодирования

0

25.05.2021

Petr Автор вопроса

Tarakanov Oleg
Добрый день. Извините, возможно уже было такое пре...

Это едва ли удачное решение для FTS, потому что email не отдельным полем идёт, а находится внутри документа. А «выцеплять» его всякий раз оттуда regexp'ами/иными средствами — мало удовольствия и серьёзная дополнительная нагрузка. Таким образом, очевидно, изменения нужно вносить именно в парсер FTS.

0

25.05.2021

Oleg Bartunov · Accepted Answer

Oleg Bartunov

Можно свой парсер подключить, посмотрите на https://github.com/postgrespro/pg_tsparser

0

25.05.2021

172 похожих чатов

Коллеги, добрый день! @obartunov, подскажите, возможно ли настроить fts таким образом,

6 ответов

Похожие вопросы