In dem kleinen Ort wuchs er auf und ging er zur Schule. 1924 begann er seine Lehre als Zimmermann bei Bernhard Brunner in Waldshut. Nach dem erfolgreichen Abschluss der Ausbildung arbeitete Xaver Amann zunächst ein Jahr in einer Zimmerei in Karsau,