動物の飼育禁止特約のある賃貸マンションに入居しているが、内緒で小動物を飼っていた。人に迷惑をかける飼い方はしていないが、先日、飼育していることを知られてしまい、特約違反を理由に退去を求められている。退去しなくてはならないのか。