お盆の義実家訪問について

カテゴリーがどれになるか分からなかったので違っていたらすみません。
気軽に相談する人がいないので、少し聞いてもらいたいです。

タイトルにあるようにお盆の訪問なのですが、今９ヶ月の娘がいて、私の実家も旦那の実家も車で行ける距離にあります。
私の実家は父と弟だけなのですが、旦那の方は旦那のおばあちゃん家に親族集まるので全員集まると私達家族を入れて17人になります。
そこで心配なのが、今コロナがまた流行ってきているので、無理に大人数集まる時に行かなくても…と思ってしまいます。別の日におばあちゃん家に行き、お墓参りに行ったり、旦那の実家に行ったりするのではダメなの？と相談したところ、あまり良い顔をしませんでした。
それを言ったら私の実家に行くのも変わらなくない？とも言われました。確かに人数の問題ではないので旦那の言い分も分かるのですが、確実に旦那側よりは人が少ないですし、一番心配なのは、旦那側の親族みんな集まるとなると、他県や、都内から来る人もいるんです。
旦那は良くも悪くもポジティブというか、ニュースを見て、今日(自分の県で)何人出たって！などと気にするのに、ゴルフや野球など大丈夫っしょ！などと平気で行きます。親族に子供を見せたいという旦那の気持ちも分かるのですが、もう少し今の現状を考えて欲しいなと思ってしまうのは、わがままなんでしょうか？