Не работал с ExpiringMap, но по названию подразумеваю, что это коллекция, из которой удаляются значения по некоторому таймауту? Если так, то в листе будут образовываться дырки...
В смысле как технически это делать или концептуально?