授乳時の母親の食事について

1ヶ月になる男の子の育児中です。
妊娠時から、お寿司や刺身などの生魚や、カマンベールチーズなどのナチュラルチーズ、カフェインが入っているコーヒー、紅茶、緑茶などは赤ちゃんに影響があるため食べないようにしてきました。
出産後は大丈夫かと思ってましたが、母乳をあげる際にも影響あると言われ、どれも大好きなのですが食べられず、少しストレスです。
上記のものは母乳をあげてる間はやはりNGなのでしょうか？
ちなみに、出産時から母乳はあまり出ず、今も毎回母乳+100ml程度のミルクをあげないと泣き止みません。母乳は両方でも30ml出てるかどうか、といった感じです。
ご確認よろしくお願いします。