息抜き

初めまして。
先日生後5ヶ月になった息子がいます。
出産前から外出等を控えていて
産後も片時も離れる事なく子育てしています。
主人は子供に興味がないのか
休みの日を自分の趣味に使っています。
子供のお世話をお願いしても
わからないの一言で結局してくれません。
仕事の日も毎日帰りが遅く休みの日もやりたい放題です。
子供は可愛くて可愛くて仕方ありません。
日々の成長を見守れる事が楽しみです。
今の私には子育てしか楽しみがありません。
しかし、ストレスが溜まらない訳ではありません。
そんな時に以前働いていた職場の方が
ご飯に誘って下さいました。もちろん息子も連れて行きます。
相手の方も気遣ってくださり赤ちゃんOKのお店を予約してくれました。
そして、その日の夜に母が初めてなのですが
息子を見ていてくれると言ってくれたので
2、3時間飲みに出ようかなとも考えています。
しかし、父と主人には反対されました。
生後5ヶ月の赤ちゃんを連れてご飯に行く事、
生後5ヶ月の赤ちゃんを預けて遊びに出る事、
に対して不満があるみたいで…
息子も5ヶ月に入りだいぶ落ち着いてきて
生活リズムも安定しています。
たまにはほんの少し母に甘えて息抜きしたいと思ったのですが
私の考えはやはりおかしいでしょうか？
お誘いを断るべきなのでしょうか…