添加物について

もうすぐ一歳になる息子の離乳食についての相談です。
少しずつ味付けをするようになり、使う調味料を増やそうかと思っています。
しかし、育児本、ネット、SNS、何をみても「添加物を避けて､､､」 と書いてあるように思います。日本には添加物の使用基準等が決まっていて、普通の食生活では健康に影響のない量しか使われてないはずですが、それでも離乳食では添加物を気にしなければいけないのでしょうか？塩分や砂糖の量に注意しなければならないのは勿論分かるのですが、添加物をどれほど気にしなければならないのかが分かりません。味覚障害など、子どもには影響があるのでしょうか？
今までは使える食品や調味料も限られていたため、「添加物の入っていないものを」、と気をつけていましたが、 完了期になると食べられるものも増えるので添加物を気にしてたらなにも食べられないのではないかと思ってしまいます。子どもが口にするものに対して添加物を気にしないのは母親失格でしょうか？
専門家の方のご意見を伺えたらありがたいです。抽象的な相談で申し訳ありませんがよろしくお願いします。