夜中のミルクについて教えてください！

こんばんは。

生後10ヶ月の娘がいます。（4/5で11ヶ月です）

離乳食も順調に食べてくれており、三回食のスケジュールも安定してきました。

それに伴い、離乳食後に飲ませていたミルクはやめてみることにしたのですが、ご飯後も特にグズることはなく今のところ飲まずに済んでいます。

ただ、19時頃に最後のご飯を食べた後、だいたい21時ぐらいには就寝しているのですが必ず2〜3時までには一回覚醒しますm(_ _)m

なるべくミルクは飲ませずお茶を飲ませたりもするんですが、なかなか寝てくれずこちらも夜中で眠くてミルクを120〜140ぐらい飲ませてしまいます。。

でも、夜中にミルクを飲むのが癖？になっているのではないかと不安です。

この場合どうしたら良いのでしょうか？

ご飯をもっと多めに食べさせるか、ご飯後にミルクをあげたほうがいいのでしょうか？

教えてください！
お願い致します。