妊娠中の添加物の摂取について

こんにちは。現在、妊娠32週目です。

 妊娠、出産に関しての本を読んでいるのですが、その中につわりがあるのは赤ちゃんを守るためで、妊娠初期の刺激は赤ちゃんに良くないと記載がありました。

 一説に過ぎないと思いますが、私はつわりがあまりなく妊娠初期から通常の食生活を送っていました。
 つわりはあまりありませんでしたが、仕事をしている関係で通勤も距離があったので、朝ごはんや間食にコンビニのおにぎりやパンを食べることが多かったです。
どのくらい食べていたから正確には覚えていないのですが、コンビニのものはおにぎり1,2個かパン1つを毎日まではいかないですが、週数日は食べていたと思います。

 その時は添加物のことは気にしていませんでしたが、コンビニのものは添加物が多く良くないと知りました。
妊娠途中からは栄養のこともあり、コンビニのものは食べないようにしています。 本を読んでから、妊娠初期の添加物の影響で赤ちゃんに障害(発達障害？)などが出るのではないかと心配になってきました。

心配しすぎでしょうか。
特に妊娠初期に摂取した添加物は大きな影響が出るのでしょうか。
また仕事中にたまに紅茶や緑茶などが飲みたくなり、カフェインを摂ってしまうこともありました。
こちらは1ヶ月に数回程度ですが、影響がなかったか今更心配になってきました。

 いまのところ健診では順調に育っていると言われています。
妊娠後期になり、夜もなかなか寝付けなくなってきて心配や不安も増して色々と検索してしまいます。
 よろしくお願いいたします。