生後3ヶ月の生活リズムについて

最近夜間のミルクがあったりなかったりで、ある時とない時でその日1日のミルク・昼寝スケジュールがガラッと変わってしまうことに悩んでます。
朝は7時半ごろには起こし、夜は21時半ごろには寝かせています。 夜間ミルクがある時は大体3〜4時に起きて飲ませるので、その後7時半まで寝てくれます。起きてちょっとしたらミルクをあげます。
夜間のミルクがないと5時過ぎに起きてしまいます。まだ外も暗いのでもう1度暗い中寝かせて7時半ごろ起床し9時ごろミルクをあげています。多分この5〜7時半が朝寝になってしまってるようで、その後10時ごろまた寝るのですが、その睡眠が長いです。私としては朝寝のつもりですが多分子にとっては昼寝になってるのだと思います。(いつも朝寝は1時間程度、昼寝は2〜3時間寝るので)その時点でちょっとずつずれて行ってしまうのです。
日中は3時間半〜4時間(たまに5時間)でミルクをあげているため、朝起きる時間がバラバラになることでその日1日のスケジュールもバラバラになってしまいます。それによって1日のミルクの回数も5回だったり6回だったりです。5回の日は総量がすくなくなってしまうので、6回になりそうな日より気持ち多めにミルクをあげています。(吐き戻すこともないので飲める子みたいです)
私としても大体毎日同じくらいの時間にあげられたほうが予定も立てやすいしお腹空いたサインを見逃さずに済むのですが...
  毎日同じくらいの時間にあげるように調整したほうが良いのでしょうか？またそれによってミルクの量を変えるのもやめたほうがいいでしょうか？まだ3ヶ月なので気にせず赤ちゃんのペースでよいのでしょうか。