我母亲现在71岁，我父亲前几年去世，我哥哥以收入不多条件差为由，要求母亲把家里唯一的房子转给他，母亲同意了，哥哥在街道用很少的钱买下了房子，现房产证上就哥哥一个人名字，母亲有居住权，房子里就2个户口。我自己买了房子，一个人住外面。现哥哥以工作不稳定，钱少为由，不顾母亲反对，硬要出售或出租房子，让母亲搬到我这里。母亲住院他也不出钱，都是我出的钱，平时还经常问母亲要钱，他这样不履行赡养老人的义务，母亲有权收回分给他的房子吗？请问我该怎么处理？