義実家との関係

長くなってしまいますが、よろしくお願いします。
1歳5ヶ月の娘と3月に2人目出産予定です。
義実家は義母・義父・義姉の3人で、義母と義姉は小さい子が大好きと言っていて、娘が産まれるのを楽しみにしていてくれました。
娘を出産したら孫フィーバーで車で30分くらいのところに住んでるのもあり、毎週毎週「夕飯食べたら来ない？」とその日の夕方に電話がくるようになりました。
急な呼び出しだし「今日はちょっと…」と断ろうとしても「良いじゃない」と聞いてもらえず結局行き、だけど大した会話もなくみんなは娘と遊び（私が入る隙間はありません。）私は1人ポツンとテレビを見てるだけ。
そんなんで行きたくなくなり、旦那から月1にしてもらうように言ってもらいました。
しかもその頃乳幼児湿疹がひどく小児科の先生からも肌が弱い子と言われたのに、義母はお構いなしに頬っぺにスリスリしたりチュウしたりして、私が説明してやめるように言っても聞いてもらえず、その場に旦那も義姉もいるのに仲裁にも入ってくれず、それが毎回毎回で…。
（細かいことを挙げればまだあるのですが）
ついに限界が来て半年くらい経った頃、少しキツメにとめたら「私の孫なんだから良いでしょ！」と口論になり義母と義姉は帰って行きました。（そのときはうちに遊びに来てました。義父は来ていません。）
それからもうすぐ1年経ちますが義実家とは疎遠状態です。
今は旦那が娘を義実家に会わせに行っていますが、正直誰も信用できず何をしてるかもわからないのでそろそろ会わせるのをやめたいし、2人目が産まれても会わせたくないと思っています。
ずっとこのままって訳には行かないのはわかってるし、子供たちが大きくなったら何て説明したら良いかもわかりません。
私もできることなら仲良くしたいです。
でもそれには義実家が私の思いを少しでも理解してくれようとする姿勢や話を聞く姿勢を見せてくれないことには、また同じことの繰り返しになると思うんです。
旦那には申し訳ないけど思ってること全て話しました。
嫁だから私が折れるしかないんでしょうか？
私が頑固すぎるんでしょうか？
最悪離婚して子供たちを引き取ろうとさえ考えています。
重い話しで申し訳ありませんが、何かアドバイスをいただけたらと思います。