不想和同事一起吃饭怎么办？

每天中午同组的同事都会拉几个固定的人一起去吃饭，有同组的也有其他组的，每天也会问我去不去，但我又不好意思说不去，所以基本每次都去了，基本都是他们几个在闲聊，我偶尔插一两句话，实在是太无聊了，别说是说英语了，就算是说中文，我也宁愿一个人安安静静地吃饭。现在越来越怕去办公室了，就是怕和他们一起吃午饭。因为是同一个组的，每次都拒绝感觉也不太好。