母乳を拒否されてしまいます

授乳のことで相談させてください。4ヶ月になったばかりの男の子です。ほぼ完母で育てているのですが、最近になって、片方飲んで反対側に切り替えると泣いて拒否して飲まなくなってしまいました。母乳の出が悪くなるのが心配で、飲まなかったほうは毎回搾乳しています。
一日5〜6回授乳、両胸合計20分で飲ませていましたが、いまは片胸10分しか飲んでいません。授乳間隔は4時間ですが、4時間より短い時間で飲ませてみても嫌がって飲みません。お腹がすいて泣くことはほとんどなく、いつも、こちらから時間がきたら飲ませる状態です。体重の増えも1ヶ月前は6300g、今は6600gと増えもよくないように思います。 出生時の体重は3165gでした。
このまま本人のペースで飲ませて良いのでしょうか。機嫌は悪くなく、おしっこも毎日6〜7回、うんちもだいたい1日おきには出ています。
授乳のたびに飲まなかったほうを搾乳し、なんで飲んでくれなくなったんだろう、、とストレスに感じてしまっています。ストレスで母乳の出も悪くならないか心配です。
体重が増えていないのも心配です。 ミルクを足した方が良いのでしょうか。ただ、ゲップしたときに少し吐き戻したりするので足りているのかなとも思うのですが。
今日はよく飲めてなさそうだな、という日にはミルクを追加で飲ませようと試みたりもするのですが、ミルクも拒否することもあります。たまに飲むときは30〜40ml位です。
食欲が無いなんて、何か病気が隠れているんじゃないか、とさえ思ってしまいます。