Может листенер стоит создавать на фрагменте и передпавать его в адаптер при инициализации(скажем в конструкторе)?
Я уже не помню, а getFragmentManager может вернуть null?