山本昌、名声を失う