妊娠中のカフェイン摂取について

お世話になります。
現在妊娠19週です。
妊娠前はコーヒーや紅茶をよく飲んでいて、特に体に影響があると感じることはなかったのですが、
妊娠後、たまに1杯だけ飲んでいて、毎回下痢になるようになりました。
カフェインも少しなら妊娠中でも大丈夫かと思っていて、
下痢も1度で終わることと、
また便秘対策にもなるので、その後も気にせずたまには飲んでいたのですが、
カフェインに体が敏感だと、たとえ少量でも胎児に影響が出てくるのかなとふと不安になってしまいました。
次の妊婦健診まで時間があるため、ご相談させていただきました。
何卒よろしくお願いします。