解雇について、お伺いします。

ご相談させていただきます。

アルバイトで、満５ヶ月勤務しております。
フランチャイズ店での事務業務で、時給で働いております。
私は午前９時半から午後５時までの時間拘束（休憩１時間）なのですが、先日、店舗従業員全員参加で泊り込みで会議合宿をする、との通達がありました。
勤務時間外になる為、不参加の旨を伝えました。
また、会議とのことで、勤務ならば給料の問題はどうするのか、と（別途時間外勤務手当てなどが出るのか、ただ時給で勤務しているため泊り込み分の時給が発生するのではないか、など）確認したところ、会議ではなく、いわゆる「飲み会」みたいなものだ、と返答を得ました。
「飲み会」なので、「勤務」には該当しないとのことでした。

どうやら、フランチャイズ先のお偉いさんが、
そのような合宿を行うことで店舗スタッフの絆を強めたい、という目的で、直営店ではよく行われていることらしく、今回はフランチャイズ店でも行おうと指示があったそうなのです。

しかし、そこで尚「不参加は認めない」との会社の方向性を示されたので、勤務外の事項で強制力は発生しないはずと確認しましたら、不参加であれば今後の（同様の）集まりのためにも特例を作るわけにはいかないとのことで、解雇をほのめかされました。

解雇されると切実に困るということではありませんが、妙に合点がいきません。お金がほしいわけでも、ケンカしたいわけでもありませんが、もし不当なのだとしたら、絶対に従いたくないという思いがあります。
「無償で、強制参加の飲み会（宿泊）に参加すること」も、「断ったから解雇される」のも、パワーハラスメントのような気がしてなりません。

まずは、私には正確な知識がありませんので、どのように行動すればよろしいでしょうか？
助言をいただけたらうれしいです。

宜しくお願い致します。