新生児の熱について

生後20日の新生児です。
ピジョンのチビオンフィットという赤ちゃん用の体温計で毎日脇で熱を測っているのですが、たまに38度以上が出てびっくりして何度か測り直したら37.5前後や36度台が出てバラバラです。
その後大人用で何度か測ってみると37度前半と安定してる感じがあります。
ミルクの飲みや排泄はいつも通りです。ミルク以外ではあまり起きない子ですがミルクを飲めばすぐ泣き止んで機嫌も悪い感じはしません。
熱が出ればもっと体が分かりやすく熱くなるのではないかと思って様子見してしまっているのですが、調べると新生児は熱が出たら他の症状が無くても受診した方が良いと出てきて不安になりました。

いつもミルクの前に体温を測っていて、直前にはベビーベッドで寝ていて掛け物をしているので首の後ろを触った感じはいつもより少し熱いかな？と思うくらいです。
大体室温22〜23度、短肌着とコンビ肌着を着ておくるみを巻き、お腹から下にもう1枚おくるみをかけています。
これだと赤ちゃんは暑いのでしょうか。
暑さでこもって38度以上が出てしまうのはよくあるのでしょうか。
また、やはり新生児なので受診した方がいいのでしょうか。