他人との関わり方について

お世話になっております。
現在6ヶ月の息子がおりますが、私の実家も義実家も県外で車で4～5時間掛かり、両親・義両親ともほぼ会っていない状態です。
それでいて、支援センターまでも少し遠いのでまだ一度も足を運んだことはありません。

息子が関わっている人間が、私と旦那、または何ヶ月かに一度の予防接種に行く病院の医者や助産師さんのみになります。
(買い物などショッピングモールにはつれていきます)
 
これってまずいのでしょうか？
支援センターなどに連れていき、他人に慣れさせた方がいいのでしょうか。
旦那に自分たち以外と関わらなさ過ぎて心配だと言われました。
どうかご助言頂けますと幸いです。 
何卒よろしくお願い致します。