上の子が寝なくてイライラする

生後5ヶ月と6歳の子どもがいます、
下の子が泣くと、上の子が起きてしまい、夜中ずっと起きています。赤ちゃんが寝て、上の子を寝かすと（2〜 3時間かかる）また次に下の子がおきるという条件で全く私が眠れません。
夜中もほぼワンオペ状態です。イライラして上の子に怒ってしまいます。
そんな状況が続き、上の子は9時に寝かしつけても寝なくなってきています。散歩を２時間したり、遊ばしたりさせているのですが寝ません。
原因は何なのでしょうか？

また赤ちゃん、私、上の子という順番で寝ています。 
赤ちゃんが泣いて別室に来ると、さがしにやってきます。
 しんどくて更にイライラし辛く当たりそうです。どうしたらいいですか？因みに夫が寝かすととても嫌がります。
また赤ちゃんも母乳しか飲みません。