授乳中嫌がってうまく飲めません

入院中より練習をしても舌がうまく乳首を巻き込まずなかなか上手に母乳を飲めませんでした。そのためミルクが主で、1日2回ほど搾乳した母乳を飲ませていました。
しかし直に母乳を飲んでもらうということを諦められず母乳外来に行き、なんとかしっかり乳首をふくんで飲むことができるようになりましたが、最近授乳して3分ほどすると顔を真っ赤にして嫌がり手足をジタバタさせ、乳首から離れようとします。刺激になるのかとテレビなどの音を消したり体位を変えたりと試してみましたが一向によくなりません。おっぱいが出ていないせいだと思いましたが、母乳外来で見てもらったところ差し乳のため必要な分出るだけであり、母乳が出ていないわけではないそうでした。
1週間検診ではミルクが主だったため、体重増加が1日50gほどで、1ヶ月検診のときは1日36gほど、現在生後40日ですが1ヶ月検診の時と比較すると1日17.4gほどしか増加していませんでした。母乳外来でも最近の体重増加について指摘があり、体重を増やしたいけれどいまが母乳とミルクになるかの分かれ道のため、日中は母乳のみで夜間のみ160mlを3回飲むように指導がありました。
上記のようにおっぱいとミルクの分かれ道、いまが踏ん張りどきと言われると頑張ろうかとも思ってしまいますが、日中母乳のみで毎回顔を真っ赤にして泣いておっぱいを嫌がる様子を見ると、全然飲めていないのにミルクを足さないのでは脱水や成長に影響があるのではないかと不安になります。実際日中のおしっこは少なめで夜間ミルクをあげたあとはたっぷりとおしっことうんちをしていました。
子供の影響を考えてのことはもちろんですが、毎回授乳中に泣く様子を見る自分も気持ちが折れそうで、このまま母乳に慣れてもらうために頑張ったほうがいいのか、もうミルクへ移行してしまった方がいいのか悩んでいます。