牛乳の嘔吐について

1歳4ヶ月の息子のことで質問です。

1歳になってから牛乳を飲ませており、本人は大好きです。
普段は朝と15時の間食時に100〜200m×2回を飲ませています。(フォローアップミルクと併用する日も)
ただ、朝食と一緒に出したり、空腹時に牛乳を飲むと嘔吐してしまいます。1歳2ヶ月のときに同様のことがあったので、しばらく朝食時にはあげてなかったのですが、今日久しぶりにあげてみたらやっぱり嘔吐しました。嘔吐した段階で食べていたのはキウイ少しと米粉パン少しです。
料理にも牛乳はよく使いますが、特に今まで問題はないです。

アレルギーなのでしょうか？
それとも体調や食べ合わせの問題なのでしょうか？