たまに空咳をする

akさん、こんばんは。
ご相談ありがとうございます。
お子さんの空咳がご心配なのですね。

お答えが遅くなり申し訳ありません。
実際に拝見していませんので、はっきりとしたことは明言できませんが、お話を伺う限りですと、少なくとも緊急性はなく、必ずしも受診の必要性はないように思いますよ。
今はまだ特に朝晩は冷える日もありますし、日中は暖かい日も増えてきたりして、気温の変動に身体がうまく適応できなかったりすれば、咳などの症状が出ることもあると思いますよ。お子さんはまだ体温調節機能が未発達なので、特に症状が出やすいこともあるかもしれませんね。
また、お子さんの喉の奥から気管に分かれる場所、気管に異物が入らないように気管にフタをする部分（喉頭蓋）は、大人と比べて高い位置にあります。そのため、喉の奥によだれやおっぱいが残っていると、体勢を変えることがきっかけで、それが喉を刺激して咳が出たりすることもあったりします。
ですが、いずれにしても1日を通して咳症状が続いたり、発熱など他に症状が見られるのでなければ、ご様子を見ていただいて問題ないと思いますよ。やってくださっているように、お部屋の加湿をするなどで対応していただければ良いと思いますよ。