母乳拒否？遊び飲み？

生後5ヶ月の息子がいます。
母乳メインの混合です。
1日6回左右10分ずつの授乳で、朝、夕方、寝る前の3回ミルクを40ml足していましたが、1月ごろから寝る前以外のミルクを飲まなくなったので、今は寝る前だけミルクを飲んでいます。
ただ、助産師さんに相談したところミルクも少しだけだからミルク無くして、夜中の授乳を1回増やせば大丈夫じゃないかと言われたので、今のミルクが無くなり次第母乳だけでいこうと考えています。
ただ、2月26日から日中、母乳をあげようとすると、のけぞって泣いたり、高い声を出して飲むのを嫌がってしまいます。
周りをキョロキョロみたり、明らかに集中できていない様子です。テレビは消して、静かな部屋で授乳していますが、それでも日中は集中出来ずなのか、左右それぞれ3分から4分程で飲まなくなり、私ものけぞって泣かれると何が嫌なのか分からないし、メンタルがしんどくなり、そこでやめてしまいます。
(ひどい時は1分もたたないで、のけぞる時もあります。)
でも、授乳時間が短いからと言って、すぐにぐずるとかはありません。
それと、寝る前最後の授乳と夜中の授乳は眠たいからなのか、10分きちんと飲んでくれます。
寝る前などは飲んでくれるので、母乳拒否ではないのかな？と思うのですが、飲む前からのけぞったりするので、遊び飲みでもないのかな？と思うのですが、原因はなんでしょうか？
また、対処法などあれば教えていただきたいです。
家では授乳クッションを使って、横抱きで授乳しています。
縦抱き、添い乳、フットボール抱きなど試しましたが、どれも効果ありませんでした。