親戚の4歳の子供の心について

5ヶ月の男の子の母です。
この間主人の実家に帰省した時、義姉の孫にあたる4歳の女の子と2歳の男の子がいました。
義姉の娘さんは16歳で長女を産んでおり、今年の2月に離婚をしていたそうです。
その日はダイニングテーブルに親戚が集まり、談話していた横の部屋で、私は自分の子供と4歳の女の子と遊んでいたのですが、  子供が寝そうだったため、「眠くなってきちゃったみたいだから、寝かしつけるね。
ごめんね、向こうの〇〇(私の主人の名前)に遊んで貰っておいで」といいました。その時その子は聞き分け良くはぁーい...分かった。と寂しそうに答えて主人のいるダイニングへ行きました。

子供が寝たので、みんなが居るダイニングへ行くと、私が座っていた椅子の下にずっとしゃがんで、テーブルの足を抱えて指をしゃぶっていじけるような 感じでいて、主人にどうしたの?と聞くと、さっきからずっとこうと言われ、遊んでって来なかったの？と聞くと、来ていないと。義姉が、多分寂しいんだと思う。と言っていて、誰が何を言ってもそこから動かず、ひたすら黙ってそこに座り続けていました。

その時その子のママは後ろの方のスペースで、下の2歳の男の子と添い寝をしていました。
義姉が、抱っこしてあげなよと言うと、さっきからおいでって言っても来ないんだよ。
ほら！〇〇(その子の名前)こっち来なさいよ！と読んでも全く動かず、、、。
その後もずっと指をしゃぶりながら私の椅子の下に潜って向きをかえたり、  私の方に手を伸ばして来たりしていたので、私はその手を握ったり、たまに頭を撫でたりしてみました。
暫くそんな感じでいると、私の子供が泣き出したので、そちらにあやしに向かいました。
少ししたら女の子がぎゃーんと泣き出し、その子のママが抱っこして同じスペースに連れて行き、添い寝を始めて暫くして寝たようでした。

翌日から、私のところにはあまり来なくなってしまい、私達が帰る時も近くに来てくれませんでした。

夜になると寂しくなるのか夜になると凄い泣いていました。 
私が言った言葉が追い詰めてしまったんでしょうか。

その子のママパパが離婚前に、パパが物に当たって大きな音を立てた時にその子が凄い泣いてトラウマになりそうになったらしく、パパから引き離して、ママと子供達は保護されたという事があったようです。 

私は直ぐに駆けつけられるような距離にはいない為、見守る事しかできないのですが、なんだか帰って来てからも心配で、 気になってしまいます。
 
余計なお世話と思いつつも、私のセリフは良くなかったんじゃないかと気になっています。
どうしてあげたら良かったのか今後なにかこうしたら良い等あれば教えて頂けないでしょうか。
私の立場でその子にできる事も限られると思うのですが、ママに対しても多少イラッとしてしまう事も正直ありましたが否定的にはなりたくなく、尊重してやっていきたいなと思っています。