Ребят, подскажите пожалуйста, у меня есть EF и в нём

Question

Ребят, подскажите пожалуйста, у меня есть EF и в нём

есть many-to-many

public class ApplicationUser
{
public List<Group>...
}
public class Group
{
public List<ApplicationUser>...
}

EF их отлично коннектит через замечательную табличку (см. ниже). Но при попытке выйти из группы ничего не происходит, БД остаётся нетронутой:
...
var group = await _context.Groups.FirstOrDefaultAsync(...)
var user = await _context.Users.FirstOrDefaultAsync(...)
...
group.ApplicationUsers.Remove(user);
user.Groups.Remove(group);
await _context.SaveChangesAsync();
...
Я примерно понимаю в чём проблема (полтора часа чтения стаковерфлоу не прошли даром), но не понимаю как это исправить не ломая всё
Я увидел что можно ручками создать many to many, зарегать для этой промежуточной таблицы DbSet и все операции делать через него, но на данном этапе это будет лютейший дрочь, есть ли какой-то лайфхак как можно удалить юзера из группы и группу из юзера, не меняя схему БД?