Eu só não quero ficar

Na boa: eu só não quero ficar com você porque não sou de desejar o mal pra (sua) pessoa.