発熱について

こんばんは。生後4ヶ月の子がいます。 
夕方に体が熱いなぁと思って熱を測ると37.7度だったので、服を1枚脱がせて肌着にさせてしばらく過ごさせてからまた測ると38.3度に熱が上がっていました。 
大人にとっては過ごしやすい温度でしたが、子供にとっては少し暑かったかなと思い、扇風機をかけて室内の換気をしたところ、体温が36.9度の平熱に下がりました。
 熱があった時も、いつも通り機嫌が良く、母乳もよく飲んでいました。今はもう寝ています。
薄着にしたのに熱が上がってしまったのが気がかりなのですが、ただ外気温の影響を受けてしまっただけでしょうか？
明日病院へ行った方が良いでしょうか？