到底是不是我的错呢？

怎么说起呢，我结婚两年了，认识他很久了，双方家人也都认识，没结婚他对我很好很好，说什么是什么，我爸觉得他本分，老实，家庭也是老实人家，觉得靠谱，我呢，谈不上喜欢他，可也不讨厌吧，加上我的愚昧，我是很听老爸的话。因为我没有妈妈，老爸一手带大的，就同意结婚。婚后他也很听话，待我很好，我说一不二，甚至我不讲理对他妈出言不逊他也会站在我得身边，结婚买房子装修家电等等，都是他家出，婆婆给我十五万，我爸给买台奔驰glk300，八月份结婚，十月份查出怀孕，那时也有争吵，但他还算迁就我，我们在别人眼里是幸福的，他咬牙，我实在睡不好，就分开睡，一直到生宝宝，婆婆不给带孩子，但随时拿钱，见我也老姑娘老姑娘的叫着，一直对我不错，我们也没矛盾，但终究是婆婆，儿媳妇，我有时有的事也会有怨言，和他说，他也会向着我说话，他还有个弟弟没结婚，其实他们家一直挺尊敬我，可能因为我老爸原因，就这样也有开心，也有争吵，还算平静的过到现在，因为我觉得两个孩子有个伴，而且趁这个小，一起就养大了，所以决定再要一个，今年九月份就真的怀了，也很高兴，因为老爸在大连有卖买，我生了孩子老爸就在大连买了套房，把孩子户口落在了大连，今年我也去装修，老公留在家里老爸的厂里维护着，因为我和我爸都在大连，家里得放个人，其实对于他的性生活，我真挺放心的，因为他对这个不是特别的感兴趣，咱也别说没兴趣，我也不是第一次离开他去大连，大连经常去打理生意的事，本打算家里的厂子四月份停了都去大连的，可这次回来，发现了他和一个快四十的女人电话，短信频繁，半夜也有，电话一天很多，就从我去大连第二天开始，到我回来还有联系，我去大连一个月，我果断不要这个二胎，摊牌离婚，到了医院手术钱都交完了，硬是找了七大姑八大姨给我拉了回来，唯独她们没敢找我爸，我也没和我爸说过，不愿意给他找麻烦，我俩从小就没啥沟通，他唯一和我的就是钱，后来可想而知，又是保证，又是承认错误，大家也想象的到，而且二胎四个多月了，需要引产，我实在没忍心，可现在不知道为神马，我看他哪都来气，吃饭来气，咬牙来气，说句难听的，真的看他哪都来气，我家是个小户型的别墅，我俩一个楼上一个楼下，自己过自己的，他和我说话，我也懒得回他，他也就不说了，反正我觉得我俩该离婚，我也告诉他了，你别和我说话，你愿意干啥就干啥，我也不用你给我做饭，咱谁也别管谁，我爸厂子你也不用去了，我离婚简单，不涉及财产纠纷，孩子纠纷，就我收拾自己衣服，孩子一包开车就走，可身边的人都说我得问题，他是犯错，可为了孩子总得过下去之类的话。说我把他越推越远之类的。你们说是我的问题吗。我该对付过下去吗？