おっぱいいじりについて

はじめまして。
3歳3ヶ月の息子の癖？について相談させてください。
息子は遊んでいる時も歩いている時もよく自分の乳首を触っています。眠い時や寂しいときは特にですが、手が空いている時だいたい触っています。そのため乳首が赤く腫れているような状況です。
痛みや痒みはないようです。（あると言うと触ったらダメと言われるから「ない」と言っている可能性はあるかと思います…）
このまま放っておいていいのでしょうか？
また腫れた乳首は病院で診てもらったほうがよいのでしょうか？

  息子は卒乳後、しばらく私のおっぱい(乳首)を触っていましたが、痛みもあり、私が辛かったので3歳でそれも辞めさせました。（卒乳もなかなか上手くいかなかったタイプです。）
また、下記のような状況もあり、無理やり辞めさせるのもどうかなと悩んでいます。
・昨年度まで通っていた保育園は小規模だったためこの4月に転園し、毎朝「行きたくない」と泣いている
泣きながら「ママと一緒にいたい。遊びたい。寂しい」と言っている
 ・更に昨年度下期から夫が単身赴任になり、私も働いているためなかなか満足いくほど相手をしてあげれていない
・現在、二人目妊娠中
 
拙い文章で申し訳ありませんご、よろしくお願いします。