ミルクの量について

4ヶ月になったばかりの息子を、ほぼミルクの混合（母乳はミルクの前に片側5分ずつ）で育てています。
母乳量は20ml（3ヶ月時点の搾乳）しかないのですが、コミュニケーションのひとつとして、少しでも母乳が出る限り与えようと思っています。

相談したいのは、1日のミルクの総量の少なさについてです。
2ヶ月を過ぎた頃からミルクの飲みが悪くなり、現在も続いています。
そこで、できるだけ間隔をあけ、お腹を空かせてからミルクを飲ませるようにしてきました。
ただ、1回で100mlしか飲まない時もあり、母乳量を足しても規定総量には全く届いていません。
さらに、夜間にまとまって眠るようになった最近は、間隔をあけると1日4回ほどしかあげられなくなりました（3時間おき1日5回でも同じくらいの量しか飲みません）。

現在、1日あたり700mlに届かない日がほとんどです（プラス母乳4、5回/日）。
排便はほぼ毎日1回、排尿（オムツ交換）も10回弱あります。
体重は、出生時2915g、1ヶ月検診時点で4090g、1ヶ月終わり時点で5045g、4ヶ月時点で約6700gです。
子供の機嫌は悪くなく、体調が悪い様子も見られないので、この子は小食なのかもしれないと思うようにしているのですが、飲む量があまりにも少ないので少し心配です。
今後の成長に何かしら影響はありますでしょうか？