с которым человек будет через айтрекинг + жесты взаимодействовать
Через вебсокет летят координаты точки взгляда, и жесты, которые он делает руками
Для того, чтобы дать возможность еще и с клавомыши/тачом этим пользоваться, нормальный же выход в фоне слушать сокет конекшн и триггерить нативные html события на элементах, на которые направлен взгляд человека в момент жеста?
Есть готовые веб-библиотеки для айтрекинга. Правда то что находил - денег просит. В целом, если получается через данные вебсокета определять элемент на экране на который направлено внимание пользователя, то почему бы не дернуть события этого элемента?
Мне кажется, что неудобно в каждом компоненте будет держать кучу логики по взаимодействию с интерфейсом, и иногда это будут нативные html-элементы
Если есть софтина локальная, которая умеет с камерой работать, я бы в сторону directInput посмотрел. Тогда
Там отдельный айтрекер куплен, с него данные железка тащит и по вс раздаёт
В любом случае, что бы не мучаться, проще будет имитировать мышь. Это прям самый простой вариант решения, т.к. весь веб под мышь заточен в первую очередь.
Обсуждают сегодня