(первый опыт в работе со звуком и JNI):
Есть два треда, которые с непостоянной частотой берут/кладут из атомарных очередей фреймы звука константного размера (воспроизведение/запись, Oboe lib)
Есть некая Java библиотека, которая позволяет получить/отправить такого же размера фреймы звука посредством передачи java-байтбуфферов.
Цель: связать друг с другом потоки фреймов этих двух сущностей с минимальной латенси и возможностью использовать фильтры на основе фреймов из обоих потоков.
Решил сделать таймер, который за цикл берет фрейм из байтбуффера и кладет в очередь; и обратно, берет фрейм из второй очереди и кладет во второй байтбуффер. Соответствующие фреймы кладет/принимает в фильтры...
Несмотря на фиксированную частоту семплов на всех сторонах (48кГц), постоянно происходит underflow/overflow атомарных очередей. Подобрать оптимальную частоту таймера у меня не вышло. Попробовал использовать PI-регулятор, за ошибку принял недостаток частоты таймера, который считается из разницы заполнения очередей, А результирующая частота идет в std::this_thread::sleep_until(current_time + 1s / freq);
Сейчас все работает стабильно, но латенси звука немалая (32ms) из-за того, что регулятор стремится удерживать заполненности очередей на равне, то есть на середине.
(За латенси считал разницу между семплами воспроизведения пика и его эхо, записанными внутри фильтра таймера). Если делать какие-то модификации расчета ошибки или размеров очередей/фреймов, то снова появляются underflow/overflow.
Есть у кого-нибудь идеи как можно уменьшить латенси или может быть вовсе заменить текущее решение?
а не проще саму очередь в джаву прокинуть?
звуковые фильтры используются из еще одной либы, у которой сишное апи, ну и в джаве ведь все равно придется писать такой же класс для передачи фреймов, я лучше уж в плюсах)
Обсуждают сегодня