父親との関わり方

現在6ヶ月の第1子男の子を育てています。
私は育休、旦那は平日は仕事・休日は趣味のゲームに明け暮れています。
旦那も育児には積極的で、息子のお風呂や保湿などもお願いすれば動いてくれます。
息子が泣いていればゲームの手も止めて抱っこであやしてくれたのですが、最近息子が泣いたり大きな声を出すと｢あーもーうるせぇな｣と明らかにイライラしている素振りが見られるようになりました。
私も平日はワンオペなので、息子がぐずってもすぐ駆けつけてあげられないこともあり、多少泣いてても気にならないので(本当は良くないのかもしれませんが…)、休日もつい平日と同じく少し泣かせっぱなしになってしまいがちです。

そしてついさっきの出来事です。
息子を寝かしつけてトイレに入っていたら息子が泣き出してしまい旦那があやしに行ってくれたのですが、それまで鮮明に聞こえていた息子の泣き声がドア越しでもわかるほどくぐもりました。
あくまで憶測ですが泣き止まない息子に布か何か押し当てて泣き止まそうとしたのかなと…絶対にそんなことしてないと思いたいのですが、嫌な想像ばかり先行してしまいます。

ここでお尋ねしたかったのが、息子と旦那(父親)の関わり方です。
育児には積極的で、息子と2人でお留守番を頼んだ時も快く引き受けてくれるのですが、酷いグズりがあった時は室内干しが倒れていたり(本人はぶつかっただけと言いましたがフローリングに深い傷がついてて本当かどうか…)、｢泣いていたせいで買ってきた夕飯食べる暇もなかった｣と責められ、お留守番を頼んだことを後悔したこともしばしば。帰宅して見た息子の不安そうな顔が未だに忘れられません。
近くに実母が住んでいるので、この日以来息子を連れて行けない用事は平日にまとめて実母に預け、土日は親子3人での時間を過ごすようにしているのですが、近頃の旦那が不安定すぎてどうしたらいいのかわからなくなってきました。

人見知りが始まることも考えるとなるべく父親とも関わった方が良いのか、父親の負の感情を感じ取って息子の不安が増長されるくらいなら少し距離を取った方がいいのか、どうすればよいでしょうか…
旦那に｢息子とお留守番つらくない？｣と聞いてもグズったその日こそ文句は言うものの、次の日にはケロッとして｢息子は見てるからお出かけしてきていいよ｣と言ってくれるので上手く話し合えません。

長々と書き連ねてしまい申し訳ありません。
そのうち息子への暴力に発展しないか不安でどうしたらいいのか、どこへ相談したら良いのかわからず、こちらのカテゴリーでご相談させていただきました。
なにかアドバイスをいただければ幸いです。
どうぞよろしくお願いいたします。