赤ちゃんの飲み物について

生後5ヶ月になる娘を育てています。
赤ちゃんの飲み物のことで、質問です。
４ヶ月ごろから、離乳食前のスプーン練習にと思って、湯冷ましを飲ませていました。
5ヶ月に入って、義祖母からほうじ茶も飲ませたら？と言われましたが、ほうじ茶は飲ませても問題ないのでしょうか？
カフェインが含まれているなら、あえて飲まさなくてもいいのかなと思うのですが、、
ちなみに離乳食はもうすぐ始めようと思っています。
麦茶は、水出しで濃いめのものをいつも作っている家なので、まだ与えていません。
私が神経質なのかもしれませんが、水道水を煮沸せずそのまま飲ませても大丈夫なのかというのも少し気になります。
離乳食をはじめたら、お粥＋ほうじ茶というように与えた方がいいでしょうか？