日中の過ごし方

はじめて相談させていただきます。
あと数日で生後2か月になる女の子の母です。
母乳がうまく吸えず、哺乳瓶での搾乳とミルクで育てています。
 日中の過ごし方に困っています。

生活のリズムを作っていきたくて、夜寝れるように朝７時には起き、遊びや散歩をして昼寝もほどほどにしていきたいのですが、機嫌のよいときがほとんどなく、遊ぶことができず、寝てばかりになってしまいます。
日中は私との時間がほとんどなのですが、私が関わろうとすると泣き、抱っこするとしばらく嫌がって泣いて落ち着いたと思うと寝てしまいます。昼寝は抱っこじゃないとできなくて、置くと数分で泣き、抱っこしてあやすと寝て…の繰り返しです。
唯一、夫と私の母が関わろうとするとにっこり笑って機嫌良く過ごすことができます。
明らかに私に向ける表情が嫌がっているように見えます。私との関係が良くないように思えてショックだし、夫がいれば、この子は楽しく過ごせるのに、と思うとかわいそうだし、情けない思いでいっぱいになります。 
生まれてしばらくは母乳を飲ませようと嫌がる中も強引に吸うように練習していた期間があり、そのせいで嫌われてしまったのかなと思っています。
ずっとこのままの関係になってしまうこともあるのでしょうか。  まだ希望はありますか。

日中の過ごし方と私との関係に悩んでいます。
よろしくお願いします。