湯冷しの水について

ミルク作りをずっと沸騰したお湯を注ぎ、哺乳瓶に水をかけ冷やしていたのですが、そろそろ離乳食もはじまるので湯冷しの水で割って作ろうと思っています。
そこで、浄水器を通した水道の水は沸騰させなくても使えますか？
なかなか踏み切れなくて、でも冷やすのに時間がかかり面倒くさいので、安心して浄水器の水を使用したく質問させていただきました。
 ご回答よろしくお願いします。