生後4ヶ月で体重の増えがイマイチです

生後4ヶ月の男の子を育てています。
産まれた時は3248gと大きめな子でした。　
混合でやっているのですが、生後3ヶ月頃から哺乳瓶を嫌がるようになり、夜中に12時ごろに一度だけ120〜140mlを飲ませるようになりました。日中の起きている時は哺乳瓶で飲むのを拒みます。そして、最近は母乳も集中して飲まなくなり、かなり飲みむらがあります。日中は一度に1分くらいしか飲まないので、心配で1時間おきに飲ませてしまいます。夜は2〜4時に2回、片方5分ずつ飲んで、明け方5〜7時くらいは1時間おきで泣くので授乳して寝かしつけます。
先日の4ヶ月健診では6600gで、小児科の先生に体重があまり増えていない事を指摘されました。（3ヶ月の時は6200gほどでした）
おしっこは比較的よく出ていますが、うんちが3.4日に一度出るくらいに減ってしまっているので、単純に母乳が足りないのかなと感じています。機嫌は良く元気にしています。 
寝ぼけている時以外、哺乳瓶で飲んでくれなくなったので、母乳が頼りなのですが、必要量出てるとも思えず。。どうすればいいか悩んでいます。
まだ5ヶ月でなくても早めに離乳食をはじめた方がいいのでしょうか？
何か対策があれば教えていただきたいです。