赤ちゃんの睡眠について

もうすぐ2ヶ月になる赤ちゃんの夜の睡眠について質問です。
現在、赤ちゃんは1日中リビングで過ごし、夜は私もリビングで赤ちゃんと一緒に寝ています。(2階の寝室で寝ると、夜中1階にミルクを作りに行くのが面倒なことと、夫も寝不足になってしまうため) 1階にリビング以外の部屋はありません。
夜は、ミルクの時間により前後しますがだいたい19時半〜21時にお風呂に入れて、ミルクを飲んで20時半〜22時くらいに寝かせたいと思っています。ですがその時間だと家事が残っていたり、夫の帰りが遅い日もあり、ごはんを食べたり洗い物をしたりすると赤ちゃんが起きてしまいます。起きて泣いてあやすか、ずっと薄目を開けて起きているかのいずれかです。稀に起きずに熟睡します。
また、リビングの明るさについては、19時頃にカーテンを閉め赤ちゃんの頭上の電気を消して薄暗くしますが、キッチンの電気はついており真っ暗ではありません。

 夜は昼間に比べ長く寝てくれるため、昼夜の区別は大切なのだと思い、夜は静かにして20時半〜22時くらいに寝かせ、朝は7時にカーテンを開けて生活リズムを作りたいと思っていましたが、リビングでは難しいでしょうか？23時頃には家事もほぼ終わるため、そこから静かに過ごせれば問題ないでしょうか？それとも、家事が残っているなら目が届かないですが2階に寝かせた方が良いでしょうか？
申し訳ございませんが、ご回答お願いいたします。