育休中の保育園行き渋り

こちらで相談して良いのか悩みましたが、相談させてください。

現在2歳半の兄と3ヶ月の弟を育てています。
兄はイヤイヤ期真っ盛りです。
わたしは育休中で、兄は弟が産まれる前から通っていた保育園に通っています。弟が産まれる前から気分のムラやイヤイヤ期で、保育園への行き渋りがありました。
保育園のことは大好きで、行ったら楽しく遊んでいますし、帰りもまだ遊びたくてなかなか帰らない日がほとんどです。
兄は弟のことが大好きで、目立った赤ちゃん返りもなく、頭を撫でたり声をかけたりしてくれています。

先日行き渋りがあり、熱もなく食欲もあったため、体調不良ではないと判断し登園しました。
朝行き渋りがあったことを担任の先生に伝えたところ「じゃあ休めば良かったのに！」と言われてしまいました。
確かに育休中でわたしは仕事に行くわけではないので家にいることは可能ですが、兄とずっと遊んであげることも出来ないし、外遊びが好きな子なのですがまだ弟を長時間外に連れて行けないと思うため外遊びにも付き合ってあげられません。同年代の子と遊ばせてあげることも出来ません。
上の子優先とは聞きますが、弟は完母で育てており授乳の時間が必須なことや、泣いている弟を放置してまで兄と遊んだり抱っこしたりということは、わたしには出来ません。
家では食べムラも強く、間食も好みません。保育園に行った日は午前午後のおやつも給食も完食してきてくれるので本当に助かっています。

そんな状況の中で、担任の先生に上記の発言をされたことがすごくショックでした。
休ませた方が良かったのかと悩みましたが、行き渋りの日に全て休ませると週に何回行けるのか？という状況になりかねますし、そもそも一度行き渋りの日に休ませるとそれを覚えて次からも行かないと言い出しそうです。
夫に相談したところ「行きたくないと話していたことを保育園の先生に話したら先生の士気が下がるのは当たり前、そんなことを言った母が悪い」と責められてしまいました。

わたしはどうしたら良かったのでしょうか。
休ませるべきだったのか、先生に行き渋りがあった件を伏せておくべきだったのか、休ませた場合は赤ちゃんとの3人でどのように過ごせば良かったのか。
アドバイスいただければと思います。