老公是不是出轨了？我该怎么办？

最近老公晚上基本上都是1.2点，2.3点才回来，有天晚上我实在是忍不下去了12点半打电话给他问他在哪，他说一个人在公司，后来1点多回来了。然后我们就开始争吵。我跟他说你手机给我看下，他好像有点生气但还是把手机拿出来了，然后马上就删一个号码，是一个女人的电话，被我看见了，我就问他为什么11点了还要打给他，他跟我解释说是在茶叶店一起泡茶的小妹，她们11点下班顺路送她回去，我说既然这样为什么还要删电话，他说因为是女的怕我疑心，后来我也没多想什么因为我知道他的性格一直是很热心最爱帮别人。可是到半夜我一直睡不着我就起来上网查他的通话记录，看了以后我觉得天都塌下来了，最近半个月几乎天天10几个电话，从上班第一个电话一直打到半夜12点多。我问他为什么这么多电话，他说是因为要帮她要我们的老乡欠她的2500块。可是我怎么能相信呢，就算是这样，用的着半个多月有88个电话，30条短信吗？这中间他还回老家3天，回家之前给那女的打了电话，到老家后的当天还给那女的打了4.5个，只给我打了一个，回家三天给女的打了有20几个，只给我打了3个电话。我们有一个三岁多的女儿，那女的也离过婚，也有个女儿，比我小五六岁，性格应该是很骚的那型，而我是内向文静型的。可是到现在我老公也不承认他做了对不起我的事情，一直说心里有我和我女儿，我很想跟他离婚，因为我是眼里揉不进一粒沙子的人。最夸张的是从老家出来的那天进家门前还给那女的打了电话，后来老公和我发生了关系，然后我就睡了，晚上11点多他又给那女的打电话还发短信，他们究竟是什么关系。我该怎么办，我已经快两年没上班了。不想的时候还好，一想起来心就好痛。我们是高中同学，从大学开始谈恋爱，那时对我也确实很好，所以在他什么都没有的时候我就嫁给了他，到现在有车有房，还有了点小事业。让我现在放手确实很不甘心，可是不离婚我又解脱不了，我实在是忍不下去了，太痛苦了，我该怎么办?