помощью Translate? этот объект не будет ни с чем сталкиваться
Есть тред об этом, можно почитать разные аргументы https://www.reddit.com/r/Unity3D/comments/1rekls/how_important_is_it_to_not_move_a_rigidbody_via/
Обсуждают сегодня