昼間の授乳について

生後３ヶ月の男の子です。ほぼ完母で育てています。
２ヶ月のときから遊び飲みというか、授乳中におしゃべりが始まってしまい、おっぱいを咥えては離すを繰り返し、咥えさせようとするとだんだん泣き出してしまうことがあります。
オッパイ拒否かと思い、ミルクを与えようとしてもムラがあり、ほとんど飲むことがありません。
搾乳したものを哺乳瓶で飲ませようとしても飲まないことが多いです。
特に午前中にそういった状態が多く、夜中の３〜４時くらいに飲んだあとは、昼近くまでまともに飲みません。
昼以降もムラがあり、飲んでも片方で終わってしまうこともあります。
体重の増えも緩やかになってしまい、12/7の誕生時が3082g、2月頭が4900g、2月末で5300gでした。
一応小児科で相談し、ミルクを足して様子を見るように言われましたが、ミルクの飲みムラも激しく、このままでいいのか心配になっています。
排尿、排便は順調で、活気もあります。
あまりに飲まないのでちょこちょこ飲ませようとしますが、なかなかしっかり飲んでくれないので、昼間の授乳間隔がイマイチわからなくなっています。