離乳食を昼食だけ食べません

こんにちは。前回は相談にのっていただき、ありがとうこざいました。

ミルク量は完全離乳とはいきませんが、アドバイスをもとに減らし、以下のミルク量に落ち着きました。
朝食～晩ご飯まではなし(麦茶や白湯) 
寝る前に80～120ml
夜間に40～80ml(1回) 

しかし、先週から何故か昼のみ離乳食が進まず、悩んでおります。
朝はしっかり食べます。
運動量が足りなかったのかな？と思ったのですが、ベビースイミングのあとでさえも昼ごはん食べませんでした。
完全に食べないときもあれば、1口食べて、頑なに口を開けず切り上げる時もあります。そういったときは、フォローアップミルクを与えてますが、良かったでしょうか？ 
晩ご飯も1口目がなかなか進みませんが、1度口に含むと食べ切ってはくれます。 

 この時期はこういったものなのでしょうか...。イライラしてしまいとても自己嫌悪になりつつあり、相談させていただきました。

通常
6時頃 起床
8時頃 朝ごはん
12時頃 昼ごはん※食べないためミルク
15時～16時頃 昼寝
18時頃 晩ご飯
20時半頃 就寝(ミルク)   
3時頃 夜間ミルク
 
ベビースイミングの日
11時 スイミング(45分)
12時～14時まで 昼寝
14時半頃 昼ごはん※食べないためミルク
16時頃 夕寝
19時頃 晩ご飯
20時半～21時頃 就寝(ミルク)  
3時頃 夜間ミルク
 
こんな感じです。  
元々はパクパク食べる子だったので、どうしてかなと心配です。対策があれば教えていただけるとうれしいです。