参加するしないは自由だが、
招かれたことに対する返答として
「知らないおっさんと～」
だとすれば、自身もいいおっさんなのに礼儀も知らない稚拙な発言だと思う。