赤ちゃんの脳の発達について

旦那がモラハラで、離婚の同意が得られず怒鳴る・物に当たる・1度だけ暴力がありました。親権渡さないと言われていて、行政等には旦那のいない隙に逃げてシェルター用意しますと言われてますが、未知の場所で怖くて躊躇してしまいます。
ただ、先日3ヶ月検診の際地域の保健師さんに話聞く限りこのままだとせっかく順調に成長している赤ちゃんの発達の妨げになる、特に脳の発達に影響出ることが多いから今すぐ覚悟決めて逃げて下さいと言われましたが、今後私と子供はどうなってしまうんだろう。親権争って取られたらどうしようと思うとじっとしてるしかありません。
昨日も激しく口論になり泣いてしまいました。抱っこしていた子供はいつも絶対グズグズしている時間なのに大人しくじっとしていました。寝かしつけるのに2時間くらい最近かかってたのに、寝かしつけるの遅くなってしまったのにたまたまかもしれませんがサッと寝てくれて罪悪感でいっぱいで今日起きてから子供と目を合わせるのが気まづいです。
これも悪影響になりますか？