赤ちゃんのお腹の熱について

こんにちは。
最近、赤ちゃんの室内着に悩んでおります。
いつも半袖下着＋ロンパースなのですが、今日たまたまぐずっている時にお腹の体温を測ったところ、38度もありました。(おでこは36.7度で平熱でした。)
お腹を触ってみるとたしかに熱いと感じるのですが、これは暑がっているのでしょうか？それとも、お腹が暑いのはもともと正常で、問題ないのでしょうか。
これから冬に入るので、長袖下着に切り替えようかなと思ったのですが、どのように判断すれば良いかわからず、教えていただけますと幸いです。