посоветуйте, что делать

прошу совета психолога. ситуация такая: я встречаюсь с женатым человеком. раньше вместе работали, семья была в другом городе. встречались 2 года. потом он переехал туда, к семье из-за более оплачиваемой работы. год прожили как любовники-постоянные встречи наездами. но он принял решение- ушел из семьи, но  работу сменить не возможно- там зарплата и близкая выслуга.

поэтому снял квартиру и живет уже почти год там один. наши отношения продолжаются, уже четвертый год. все бы хорошо, но мы строили планы на совместное житье, ожидая момента жизни когда это станет возможным. и вот это случилось- я вышла на пенсию и могу ехать к нему. оговорка- он живет в "закрытом "городе и туда нужен пропуск. в прошлом году, когда он только снял квартиру я приезжала. он делал мне пропуск, мы вместе обустроили съемную квартиру. сейчас он придумывает всякие причины и уже полгода не делает мне этот пропуск. от разговоров увиливает всячески. просто говорит- хочу стобы ты приехала.но пока это не возможно. у него два сына. он ими дорожит и боится потерять. я все это понимаю. и наконец он мне сказал, что сейчас хочет как можно больше общаться с детьми, а мой приезд туда сократит это время. поэтому пока я там буду мешать им.про мешать-это моя интерпретация. я прашиваю- сейчас есть возможность побыть вместе, жизнь идет, и мой отпуск закончится,я ведь буду работать. а дети как были так и останутся с ним в одном городе. он сказал что не думал в таком ракурсе. а ведь я могу приезжать-уезжать, и в перерывах он может обшаться с детьми как всегда, тем более, что и сейчас они с ним не живут, а иногда приходят. мой вопрос- как мне урегулировать все это, я хочу быть с ним, а для него все важнее чем я и наши отношения- работа, дети, сначала все там, а для меня то что останется. и при этом говорит что любит и хочет быть со мнй, всегда и вместе. а на деле-ничего такого нет.все чаще меня посещают мысли- я ему просто не нужна, и пора все это прекращать.