Так грустно читать такие истории.
Ребенок чувствует отношение к нему папы, вот и всё. Наверное, действительно нужно всё пустить на самотек - не настаивать на встречах, но и не рвать отношения совершенно.
Удачи Вам! И найти хорошего человека, которого Ваш сын назовет "Папой" и полюбит его.