169 похожих чатов

Всем привет! Есть немного нестандартная задача: сделать фронт для приложения,

с которым человек будет через айтрекинг + жесты взаимодействовать

Через вебсокет летят координаты точки взгляда, и жесты, которые он делает руками

Для того, чтобы дать возможность еще и с клавомыши/тачом этим пользоваться, нормальный же выход в фоне слушать сокет конекшн и триггерить нативные html события на элементах, на которые направлен взгляд человека в момент жеста?

5 ответов

19 просмотров

Есть готовые веб-библиотеки для айтрекинга. Правда то что находил - денег просит. В целом, если получается через данные вебсокета определять элемент на экране на который направлено внимание пользователя, то почему бы не дернуть события этого элемента?

Егор-Старцев Автор вопроса
Максим Юдин
Есть готовые веб-библиотеки для айтрекинга. Правда...

Мне кажется, что неудобно в каждом компоненте будет держать кучу логики по взаимодействию с интерфейсом, и иногда это будут нативные html-элементы

Егор Старцев
Мне кажется, что неудобно в каждом компоненте буде...

Если есть софтина локальная, которая умеет с камерой работать, я бы в сторону directInput посмотрел. Тогда

Егор-Старцев Автор вопроса
Максим Юдин
Если есть софтина локальная, которая умеет с камер...

Там отдельный айтрекер куплен, с него данные железка тащит и по вс раздаёт

Егор Старцев
Там отдельный айтрекер куплен, с него данные желез...

В любом случае, что бы не мучаться, проще будет имитировать мышь. Это прям самый простой вариант решения, т.к. весь веб под мышь заточен в первую очередь.

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
9
#include <stdio.h> #include <stdlib.h> #include <time.h> void mass_first_generate(int mass[5][7]) {     for (int N = 0; N < 5; N++) {         for (int A = 0; A < 7; A++) {   ...
Чувак
6
Всем привет! Решаю 99 OCaml Problems и столкнулся со следующей проблемой (прошу палками не забивать, я OCaml практически не трогал до этого момента): open OUnit2 let create_...
К|/|pи/\/\ 6е3yглbIи
2
https://www.linkedin.com/posts/ugama-benedicta-kelechi-codergirl-103041300_mobiledevelopment-fluttertraining-handsonlearning-activity-7263445699227254784-IdHB?utm_source=share...
CoderGirl
16
Ну вот просто даже давайте вот как. Какой нибудь конкретный кейс, можете в пример привести, где бч работает и приносит прикладную пользу, а не просто что бы было? Не крипту.
Alexander Andreev
22
Точно, оно. У тебя там имена потоков выставляются?
Александр (Rouse_) Багель
11
возможно ли как-то передать в электрон или таури медиа поток с рендера 2д движка? двиг запускается как dll, а дальше надо как-то отправлять рендер кодировать не подходит, зр...
Kyle Nekto
7
Помогите пожалуйста. Делаю систему плагинов. Проблема сейчас в такая: плагины загружаются в основном потоке. FLibHandle := SafeLoadLibrary(FFileName) Но нужно еще выполнить фу...
Илья 🤣
10
объясните пожалуйста, почему функция не работает должным образом? вроде должно брать активное окно сравнивать его размер с размером экрана, и если есть совпадение = true прове...
JF
12
Карта сайта