夕方に体温測ったら38.09℃

夕方いつもグズってて暑いと思い体温測ったら38.09℃で37.5℃以上でていて沐浴前だったので沐浴はせずに体拭いてミルクを飲ませました。ミルクはいつも通り90飲み1日様子見ることにしました。
ちょっと前から咳が出ているのと鼻くそ？鼻水？は黄緑です。
基本肌着だけで過ごして寒い時はおくるみとかブランケットでくるんでいます。夕方熱測る前は肌着だけでした。部屋的にカーテンがなく今日一日は日差しが強く部屋が暑く感じていました。なのでまだ涼しい部屋で過ごしていました。
23:00ぐらいにミルク前とミルク後で計って37.5℃以下だったのですがこれは病院に行くべきでしょうか？