おっぱいをあまり欲しがらない

3ヶ月の女の子を育てています。
出生時3486g、日中は母乳のみで寝る前にミルク50〜80ミリ追加し、1ヶ月検診時は4118gでした。 
2ヶ月に入る前あたりから授乳間隔が3〜4時間、寝る前ミルクを作っても飲まないことも増え、夜間も8時間くらい寝るようになりました。
それと同時に、夕方頃に授乳後1時間しないうちにグズることが増え 、初めはおっぱいが足りないのかなと思いましたが、抱っこしてあやすと落ち着いていたため再授乳はしていませんでした。

3ヶ月前頃に体重を測ったところ、5100gほどしかなく(2ヶ月の時点では自宅体重計で約4800gでした) 、欲しがらなくても3時間おきに授乳をするようにしました。夜間も3〜4時間おきに起こして授乳しています。
しかしあまり欲しがらないことに加え、遊び飲みも始まって、片方5分も吸わないこともあり(真面目に飲んでいても両方で10分いかず寝てしまうことも多々あります)なかなか体重が増えず、現在3ヶ月6日で5344gしかありません。ミルクは全く飲みません。搾母もだめでした。

搾乳では多い時、両方で90ミリくらい出ています。以前夕方の授乳前後で体重を測ったときは、寝てしまうのを起こしながら20分ほど授乳して50g増でした。

体重増加の遅れを取り戻したく、頑張って授乳していますが思うようにいかず、赤ちゃんありきのことなので思うようにいかないことは分かっていますが、悩んでいます。
お腹が満たされていなくてグズっていたのにおっぱいをもらえず、お腹がすいたまま寝かされていたことが原因で、飲みたいという意欲がなくなってしまったのではないかと後悔の日々です。

このまま赤ちゃんのペースで少しずつやっていくのでも大丈夫でしょうか？

また、2ヶ月半の頃乳腺炎になったときに行っていた桶谷母乳相談室で上記を相談したところ、 
欲しくてもくれなかったから、赤ちゃんの胃が小さくなったのではないか、だからあまり飲まないのだろう
と、言われました。 
 実際そのようなことはありますか？
私はこれからどうしていけばよいですか？