おっぱい拒否？

はじめまして。
0歳5ヶ月の男の子をもつ新米ママです。
5ヶ月を迎える前後から、おっぱいを飲み始めて2〜3分で（ひどいときは1分もしないうちに） おっぱいを離してものすごく嫌そうな顔をしながらぐずるようになりました。
しばらくそのまま様子を見たあとにもう一度おっぱいを飲ませてみると、何事もなかったかのように飲みます。少し間をあけても飲まずにぐずぐずが続くようであれば、お腹がいっぱいなのかな？授乳のタイミングじゃなかったのかな？と思い、吐き戻さないようにハイローチェアに座らせて一緒に遊んだり絵本を読んだりしています。

現在授乳間隔はだいたい4時間で 、1日あたりの授乳回数は5〜7回ほどです。
おっぱいが出ていないのかな？と思い、絞ってみたりもしていますが、しっかり出ているように思います。しこりや白斑もできていません。

どうやらもともとあまりおっぱいに執着がないのか、眠かったり遊んでいたりして私がうっかりしていると4時間以上経っていてもぐずることもなく寝ていたり、遊んでいたりすることが多い子ではあります。
また、7月4日から離乳食を開始したのですがそれも何か関係があるのでしょうか。 
息子のなかで何が起きているのかわからず、授乳には時間がかかってしまうし、それまでご機嫌に過ごせていたのにおっぱいのせいで不機嫌になってしまったり、ということが繰り返されると辛いです。 
嫌がるからと言って、おっぱいをあげないわけにもいかないし、生後3ヶ月頃から完母でしばらく哺乳瓶も粉ミルクも使っていないのでどんな反応をするかわかりません。
どうすればいいでしょうか？