パパ見知りについて

生後1ヶ月の息子のパパ見知りがひどいです。
パパが抱っこするともちろん泣くし、パパがトントンしただけても泣きます。
生後間もないころ、ミルクの途中で寝てしまって飲みが悪かった時にパパが頑張って飲ませようと足の裏を強く刺激して起こしながら飲ませてました。また、第二子と言うことで気が緩んでパパは鼻をつまんだりほっぺをグリグリしたりしてちょっといじめながら可愛がっていました。
パパは痛いことをする人だと思ってしまったのでしょうか？

第二子で、上の子がママじゃなきゃダメって時があるのでその間はパパが赤ちゃんを抱っこしててくれるのですが大泣きです。
泣きすぎて声も枯れてしまいました。
声のこともあるし、なるべくパパに抱っこさせない方がいいのでしょうか？
でも、それだとパパ見知りは治らない気もます‥。
泣かれるパパもかわいそだし、泣かせてるのも悲しいです。
それにパパは、泣くから可愛くないとまで言っています。
上の子は2歳で言葉もある程度通じるので上の子の方がかわいいっていって、赤ちゃんのことは嫌いみたいです。。
時間が解決するのを待つしかないのでしょうか？
パパが赤ちゃんに積極的に関わった方がいいのか、どうしたらいいかわかりません。