赤ちゃんの環境について

先日里帰りを終え、主人の住む我が家に生後3ヶ月になる子供と一緒に帰ってきました。
しかし主人の仕事が忙しく、家事育児は完全なるワンオペ状態。里帰り中は母が身の回りの世話をしてくれたので、私は赤ちゃんのお世話に集中でき、グズったりすればすぐに抱っこしてあげることもできましたが、今はなかなか構ってあげることができず機嫌がよくないことも多く、申し訳ないです。 
夜も里帰り中はまとめて5時間ほど寝てくれていましたが、新生活を始めてからなかなか寝付いてくれず、寝ても1時間や30分ごとなど頻繁に目を覚まし ます。
私自身の持病である腰痛も最近悪化し、つらくて涙が止まらなくなったり、子供に笑顔を向けることが少なくなったりと精神的に参ってしまっています。 
そんな人はたくさんいる、私の甘えだとは重々承知の上なのですが、母に相談したところ、主人とよく相談した上で少しの間だけまた帰ってきてもいいのではないかと言ってくれました。(実家は車で40分ほどの所にあります。)
主人は腰痛がかなり酷いことを心配し、家のことは構わなくていいから、私と子供が一番いいようにしてくれていいと言っています。
長くなりましたがここからが相談です。また実家にお世話になることになると、私の都合で子供の環境がコロコロ変わってしまい、  悪影響になるのではないかと不安です。恥ずかしながら3ヶ月もお世話になった実家のほうに子供も慣れてしまっていて、我が家の環境に慣れさせるのも大事かと思いどうしたらいいか悩んでいます。