赤ちゃんの外出について

赤ちゃんが、外出した日は必ず夜ギャン泣きします。

1ヶ月検診が終わってから近所に散歩を10分程度、時々行っています。それと予防接種や外来に出掛けたり、先日初めて2時間くらい用事に付き合ってもらい外出しました。
だいたい19時くらいから何しても泣き止まないギャン泣きが日付け変わるくらいまであり、必ず散歩を含めて外出した日です。外出してない日は泣き止まないギャン泣きはなく、最近は21時には必ず寝てくれます。この先どうしてもスーパーなども連れていかなきゃ行けないことが増えるのですが、毎回外出の度にギャン泣きされるとどうしたらいいのか分からなくなります。何か改善方法はありますか？