自民党・谷垣幹事長、「会話できる状態でない」　人事に影響大