Vi, xfce qui est plutot léger.
Pour ne pas démarrer le serveur X au boot tu peux faire ceci:
update-rc.d -f xdm remove
Ca supprime les liens dans /etc/rc*.d vers /etc/init.d/xdm, script responsable du lancement de tout ça.
Il pourra t'être utile aussi de faire pareil en remplaçant xdm par: xfree86-common, xfs, xfs-xtt.
Pour supprimer les packages du disque dur je ne suis pas sûr de connaître la bonne méthode