子どもの心の発達について

義両親と敷地内同居をしています。
義父母のことは嫌いではないですが、得意ではありません。何か嫌なことをされるわけではないですが、気をつかうストレスで私自身精神科に通う状況になり、近くに家を建てる話しになりました。
出ることが決まった今も、子どもを向こうに預けたりすることにとても抵抗があり、嫌な気持ち、寂しい気持ちになります。先日、私の仕事の帰りが遅く、旦那と義両親と一緒に夜ご飯を食べ、そのまま、じいじとねる！と言って母屋の寝室へ上がり、寝ついていました。今までは旦那と寝るのも嫌がり、寝付くこともなかったのに、そのことが何故かとてもショックだったんです。
その日から、また息子がじいじと寝ると言ったらどうしようと思って、不安が大きくなり、息子にもう言わないでと言ってしまいました。
あんなに純粋な息子にそんなことを言ってしまったこと、とても後悔しています。
息子は、そのとき、特に表情を変えずにうんと言いました。
ですが、なんだか義両親の話関係になると、私の顔色をうかがっているように見えます。
私の行動は、息子の将来にとても悪影響なことだったのではと申し訳なさでいっぱいです。
初めての子育てで、先が見えない分たくさん不安があります。こんな気持ちになるのはおかしいでしょうか。また、息子への影響はどれほどなのでしょうか。