我老公是单亲，很早父母就离婚了，他母亲又是一个很男人同时脾气很暴躁的人，导致我老公性格也很不好，结婚以后，我跟老公上班离比较远，一般都是周三回一次家，周末在家，我婆婆老是趁我们不在家去家里溜达，曾经我邀请过她一起住，他拒绝了，现在还老是来，隔三差五来一趟，跟自己家似的还带邻居去家里做客，好几次我无意中回家碰到，感觉挺不开心的，到底是我想多了，还是真的不太好，我该怎么跟老公谈这件事