指と手のおしゃぶりについて

まもなく4か月になる男の子ですが、最近よく左手の親指と左手をグーにした状態の手をしゃぶるようになりました。
これも成長過程なのかなと思い、無理にやめさせようとは思っていません。
でも母乳をあげようと授乳体勢にすると自分の指をしゃぶり始めてしまい、いつまでたっても乳首に吸いつこうとしません。
しまいにはグズってしまうので、母乳を諦めてミルクを与えています。
このような場合は指しゃぶりをやめさせて母乳を与えるほうが良いのでしょうか？
また、哺乳瓶の乳首のサイズをSからMにサイズアップしたタイミングで母乳を嫌がるようになりました。
以前はミルクの前に左右10分程度1日3～4回与えていましたが、今は全く飲まない日がほとんどで、飲んでも1日1回2、3回吸って終わります。
母乳の出が悪いのも原因としてあると思いますが、母乳を与える時の環境などは変えていません。
乳首のサイズもサイズダウンしました。
このまま母乳を諦めたほうが良いのでしょうか？それとも諦めずにルーティンとして母乳を与えるべきでしょうか？
以前は泣いた時や眠い時などは母乳を与えれば落ち着つきましたが、今はあげようとするとギャン泣きしてしまいます。
良い解決法がありましたら教えていただきたいです。
よろしくお願いします。