Je pique honteusement sur le web cette manip pour avoir une désinstall propre de postgresql :

sudo aptitude purge postgresql postgresql-common
sudo dpkg -P postgresql-9.4
 
sudo find / -name postgresql -exec rm -Rf {} \;
sudo find / -name pgsql -exec rm -Rf {} \;
sudo find / -name psql -exec rm -Rf {} \;
 
sudo userdel postgres

De là, à savoir ce qui tournait sous postgre avant de désintaller, faut pas exagérer !

Edit :

à l'usage, cela n'est pas si propre que cela, logwatch continue à chercher le service et il reste des paquets postgresql.