私の積み重なるストレスと娘のイヤイヤ期でイライラしてしまう

保育園に通っている2歳5ヶ月の娘がいます。
基本旦那は娘が起きる前に仕事に行き、21:00頃に帰ってくるため娘と関わる時間は日曜日くらいです。
元々旦那は育児に協力的ではなく、お風呂に入れてくれたのも片手で数える程、ミルクをあげてくれたのもほぼ記憶にないくらいで、最近はたまに少しだけ娘と遊んでくれるもののほぼゲームしてるか寝るかです。
1度旦那に1時間だけ娘を見ててもらったら、バナナを1房（5本ほど）を一気に食べさせてしまって、その件があってから私が怒り狂ってしまってもう見ててもらうことは辞めました。
そんな状況なので、もう旦那には期待はしていません。

そこは割り切っているのですが、実家で色々な問題が起き、私もストレスが凄くいきなり泣き出したり娘に些細なことでおこってどなってしまったりします。
大前提として、娘は1番大切で大好きで、離れることを考えたくないほどです。

「ご飯食べさせて｣「お風呂入りたくない」「まだ遊ぶの」「遊ぼうよ」などはまだ大丈夫なのですが、娘が1度怒ると叩いてきたり金切り声を出しながらバタバタ暴れては「痛い〜」と余計に泣いたりします。
叩かれると「なんで叩くの！やめてって何度言えばわかるの？！」と怒鳴ることが増えてしまい、その度自分が嫌いになり死にたくもなってしまいます。
耐えられず娘の前で大泣きしたりしてしまったり、もうこのままじゃダメだ、娘が可哀想だと思い精神科に通っていますが、1件目ではただ薬を処方されるだけだったので、以前通っていた精神科（片道1時間ほど）に通院を始めました。
ですがそこで担当してくださった人は以前とは別の医師で、「脅すようなことを言ってしまいますが、このご時世、怒鳴ってしまうだけで虐待になってしまって最悪通報されて児相に連れていかれてしまうかもしれない」と言われてしまって余計に怖くなってしまいました。
以前の病院でもらっていた薬はだいぶ効いていたようで、落ち着いて娘に対応出来ていたのですが、副作用の眠気が酷く、今回の病院では漢方にしてもらいましたが、1週間経過しても効いてる気配がしません。

次の通院日まで1週間あり、そこまで耐えられるかわかりません。
かと言って1度しか行っていませんがまた同じ病院に通い続けるのも怖くなってしまいました。
娘が連れていかれることも考えただけで恐ろしいです。離れたくありません。
もうどうしたらいいか分かりません。