離乳食をあまり食べない

離乳食を始めて3週間目になります。
お粥と、野菜の種類を色々試している状況ですが、お粥だけ食べさせていた時は小さじ3倍くらいまで順調に食べる量が増えたのですが、野菜も始まってからなかなか食べる量が増えません。
例えば、野菜を小さじ2杯分食べたら、お粥は小さじ1杯分くらいでグズってしまって泣いて食べないという状況です。
タイミングが悪いのかと思って、色んなタイミングで試していますが、最初機嫌が良くても最後の方はグズって泣いて食べません。
他のことに気が散ったりするのかと思ってテレビなども消してみたりしても、ダメです。
毎日、お粥と野菜とトータルで小さじ3杯ずつ分くらいは食べるのですが、このまま増えないと心配です。
後半になると冷たくなってしまうことも原因になりますか？
そんなに量を気にせず、少しでも食べれたらそれでいいのでしょうか？ 
量を食べれないと困るのはいつぐらいからですか？