ミルクのやめ時

1歳2ヶ月の子供がいます。
未だにミルクと哺乳瓶が辞められません。
3回食になり食べる量も増えてきたのでミルクをそろそろ終わりにしようかと何回か試していたのですが夜中にまだ2回程起きてミルクを飲まないと寝ません。
マグで麦茶や水、アクアライトなど試してみたのですが全部拒否で飲もうともせずずっと泣いてます。
何も飲ませずにずっと抱っこしてみたりもしてたのですが泣きは治まらず酷くなる一方です。
ミルクを飲んだらすぐ寝ます。
寝たフリをしてずっとほっといてみたり窓の外見たりも試そうとするのですがどれもダメで挙句の果てには抱っこも拒否になりました。
アパートでもあるので夜中ずっと泣かせておくと近所迷惑にもなってしまうと思い結局はミルクを飲ませてます。
この場合はどうしたらいいのでしょうか？
ミルクと哺乳瓶はさすがにそろそろ終わりにしないといけないでしょうか？
哺乳瓶は虫歯になりやすいとも聞いたのでまずは哺乳瓶から無くしていこうと試したのですがマグにミルクが入っていると分かってないのでマグすら嫌がります。