入社日だと思ったら二次面接だった

私は先日ある会社の書類選考が通り、その5日後に面接をしました。面接は仕事内容等を聞いたりと、ごく普通に面接をし、採否はお電話でお知らせしますと言われました。その面接の2日後に会社から連絡があり、「おめでとうございます。是非弊社にお越しください」と言われ、私は採用だと思い、言われた日にちに出社したら「今日は二次面接ですよね」と言われました。私は「今日は入社日だと言われて来たんですが」と言いました。そしたら、「今日は二次面接の予定なので、面接担当者が来るまでお待ち下さい」と言われました。その後、普通に二次面接をし、「採否は一週間後にご連絡します」と言われ、面接は終了しました。私は帰宅途中、考えました。もし今の会社が不採用だったらまた就職活動しなくてはならない。私の勘違いだったとしても、一次面接の時点で、二次面接があると教えて欲しかった。電話連絡があってからは私はもう採用されたのだと思っていたので、就職活動もしていなかったし、二次面接するはずだった他の会社に応募の辞退の連絡もしてあり、私はとても絶望的な気持ちになりました。
私は色々考えた結果、面接辞退の連絡をしました。そしたら、二次面接が終わった時点でもう採用は確定し、いつ入社日にするか考えていたそうです。私は複雑な気持ちになったのですが、採用してくださいましたし、これからまた就職活動するのは大変だと思ったので、その会社に入社する事にしました。入社日はもう決まっておりますが、正直まだ悩んでいます。もし私の勘違いだったとしたら、その会社に申し訳ないことを電話で言ってしまった。このまま入社しても周りの方が私に気を遣うのではないかととても不安で心配なのです。
専門家の方が私と同じ立場になった場合、どのように考えますか？
ご意見をお聞かせください。よろしくお願いします。