車での外出について

生後4ヶ月の子のママです。
 首がすわるまでは長時間は乗せない方がいいといいますが、1時間は長時間に入りますか？ また長時間でなくとも毎日は良くないですか？
赤ちゃんに負担がかかるからと思い、できるだけ控えようとは思うのですが、近所だけの散歩も飽きるし、つい週2-3回車に乗って人混みは避けながらも出かけてしまいます。そのときは毎回ではないですが、トータル3時間程度の外出で連続乗車時間としては1時間程度です。ずっと気にはなっていたものの今更ながら心配になってきました。
 もちろんチャイルドシートに乗せ安全運転はしているつもりですが、けっこうガタガタすることは多いような気がします。 赤ちゃんの体調に今のところ悪い様子は見受けられません。
やはり受診などやむを得ない以外は乗せない方が良いのでしょうか？