離乳食時のミルクについて

現在ミルクを離乳食3回のときとその他2回の合計5回ミルクをあげておりトータル量は500～700ml台で日によって飲む量はいろいろです。
離乳食は手作りのものだけだと嫌がることが多いので80gのパウチのベビーフードと手作りのものを組み合わせたりしてあげています。(手作りのものは必要量の半分程度に減らしています)
離乳食を食べたあとにミルクを飲ませるのが普通かと思いますが息子は先にミルクを飲みたいタイプのようでグズってなかなか食べなかったりするので食べないよりマシかと思ってグズグズしだした時点で早めにミルクをあげてしまうのですが今後ミルクの回数を減らしていくことを考えるとやはりグズって食べなくなるのはしょうがないと諦めて心を鬼にして離乳食後にミルクをあげるようにすべきでしょうか？
今は離乳食時には120mlのミルクを用意していますが全部飲むことも多く離乳食も出されたものはグズグズしながらも何とか完食してはいます。
通常の離乳食後にミルクをあげるスタイルだとだんだんミルクを飲む量が減っていって最後無くすというふうにできますが、今の先にミルクをあげるスタイルだと自然とミルク量が減ることが無さそうですし逆に離乳食を食べる量が減るのではないかと心配しています。