里帰りから戻る時期について

お世話になります。
もうすぐ生後5ヶ月♂になりますが、自宅で同居している義父から最低でも首すわるまでは帰ってこなくて良いと言われていて、まだ里帰り中です。
 主人が来る週末、明らかにテンションが高い息子をみて私の両親から、祖父母としては何時まで居てくれても構わないけど、そちらの家の事を考えると首すわったら早めに帰った方がと言われました。主人は私に任せるとは言いつつ最長1年といってきています。地元の保健士さんには、6ヶ月頃から人見知りが始まるから今の生活をしていると主人(パパ)が絶妙なポジションになると言われつつ、長い里帰りが許されるなら実家に甘えるのもありと言われました。 
私は義実家が苦手なので1日でも長く実家にいたいですが、息子の為には帰った方が良いのかなとも思います。ただ、離乳食開始の時期は大変と聞いた事があるので、 離乳食の生活が軌道にのるまでは実家にいたいです。
まとまりのない文章で申し訳ありません。
ご意見いただきたく、相談させていただきました。
よろしくお願いします。