ミルク拒否が酷いです

あと1週間で４ヶ月になる男の子をミルク+搾母乳で育てています。
２ヶ月ごろから哺乳瓶(ミルク)拒否が始まり、飲みムラが出てきてしまいました。
今は180mlを1日5回飲ませていますがほぼ毎回残します。
(日中4時間おきに4回、夜間1回)
飲んでくれることもたまにあるので180ml作っています。
２ヶ月ごろからお腹すいたって泣くことが無くなり、眠い時くらいしか泣きません。
6時間あけても飲まないので哺乳量を稼げなくなると思い、1日のスケジュールを決めて飲ませることにしました。

起きている時に哺乳瓶を近づけると顔を背けて手で振り払い酷い時にはギャン泣きしてしまいます。酷い時は100mlくらい飲んで手で振り払ってきます。無理矢理そこから飲ませたりすると泣き疲れて寝て150mlくらい飲んでくれる感じです。
 寝ている時は飲ませると顔を背けたりはしますが、割と大人しく飲み、比較的に多めに飲んでくれます。残すとしても10〜20mlほどです。
1日のトータルは780〜850mlほどです。

質問なのですが、結構嫌がる中で無理矢理飲ませたりしていますが、赤ちゃんにとってあまり良くないのでしょうか？将来食べるのを嫌いになったりしないか心配です。
体重は無理矢理飲ませていることもあり成長曲線の範囲で順調に増えていますが、おそらく飲ませないと増えが悪くなると思います。
本人の気分に合わせると1日500〜600くらいになりそうです…。
中身は搾母乳でもミルクでも拒否するので味が嫌な感じには見えません(そもそも近づけると拒否するので…)
温度や哺乳瓶の乳首のサイズを変えたり、飲ませる人を変えたりとかしてみましたが同じく拒否でした。
アドバイスなど頂けると幸いです。