Batthyány Kázmér gróf (1807-1854), Baranya vármegye főispánja, főkormánybiztos, majd a Szemere-kormány külügyminisztere, kimenekül