1808 war für Pfaffenhausen ein schlechtes Jahr. Als Folge der Säkularisation wurde das fürstbischöfliche Schloss abgerissen. Nur eine gemalte Ortsansicht von Pfaffenhausen von 1780 zeigt noch deutlich das Schloss. In der Ortschronik findet sich nur ein kurzer Eintrag: „Im Jahre 1808 wurde das Schloss zum Abbruche verkauft und in diesem und dem folgenden Jahr wirklich abgebrochen.... Schade für das schöne Gebäude, das um 1500 Gulden verkauft wurde und so dauerhaft war, dass die Käufer das Geld daran verloren.“
Geschichte