夜間断乳について

いつもお世話になっております。
1歳1ヶ月の息子のことについて相談させてください。

離乳食がとても順調にすすみ、日中は3食＋完食1回で問題なく身長体重ともに経過しています。

寝る時はミルクを飲ませれば早いですが、飲ませなくてもなんとか21時までには布団で入眠します。
もっと早く眠そうになっていますが、3歳のお兄ちゃんが刺激になって（部屋を変えても声が気になる）早くはなかなか眠れません。

夜中23時半から1時までの間に激しく泣いて眠れず、そこで1回ミルクを飲みます。
量はもう少し飲めそうな日もありますが180mlがベースです。
夜間数度起きますが、その時以外は何とか寝ついてくれます。
そのまま朝4時から5時半までは寝ますが、そのタイミングで覚醒します。
ミルクを飲ませればまた寝つく日もありますが、私がいつまでも横に付いていられないこともあってそのタイミングで起きることが多いです。
5時前後に起きても2時間以上は抱っこからは離れません。
ここ1週間ぐらいで朝寝がない日も出てきました。
お昼寝が短くても、夜間の様子はだいたいこんな感じです。
昼間の活動量でも大きく変わりません。

夜間断乳も考える時期だと思いますが、進める方がいいですか？
それともミルクを飲ませて、夜間にもっとじっくり寝れるようにしてあげた方がいいですか？
アドバイスいただけると嬉しいです。
宜しくお願いします。