義両親に嫉妬してしまいます

いつもお世話になっております。
長くなると思いますがお付き合いください。
 相談内容はタイトルの通りです。

現在私はフルタイム、土日出勤もある会社ではたらいており、仕事の時、息子は平日は保育園、土日はすぐ近くに住む義両親に見てもらっています。

私が息子の面倒を見るのは仕事が休みの日と、仕事から帰ってからなのですが、平日は家事をしながらなので息子への対応が疎かになってしまい、仕事が休みの日しか遊んであげられません。自分でも息子に構ってないなぁと思ってしまいます。

そんな中この間の出来事ですが、歩きたがりの息子を歩かせて保育園に送っている途中に義母と会いました。その時の私は手を振りほどいて違う方向へ行く、座り込んで遊んでしまう息子に対して悪戦苦闘していたのですが、義母を見つけた瞬間息子が　ばあば〜　と走って行き、自分から手を繋いだんです。スムーズに手を繋いでふたりで歩き出す後ろ姿を見てとてもやるせなく、複雑な気持ちになりました。
義母を預けた日も、別れる時に泣いてしまって抱っこをせがむ息子を見たり、今日も一日いい子だったよ〜といわれたりするととても複雑です。私の時はイヤイヤばかりで辟易してしまうのに。

 私もご飯を食べさせてお風呂に入れて寝付かせて、夜中にも付き合って、保育園の準備をして…いろいろしているのになぁ（母として当然かもしれませんが）、と思ってしまい、息子に対してイライラしてしまうこともあります。

義両親が面倒を見てくれるだけでありがたい、私もそう思います。それでも、この複雑な気持ちはどうしようもありません。私はこの気持ちにどう向き合えばいいでしょうか？自己嫌悪です。

 ちなみに主人は義両親に懐いているならいいじゃん、という考えの人で、私の両親は県外で年に数回会う程度です。