Skipperhuset blev bygget af Skipperlauget i Tønning i 1624-25 og brugt som kvarter for sømænd.

I Den Store Nordiske Krig var det 1713 hovedkvarter for en svensk general, der var på flugt fra danske, russiske og saksiske tropper.

1799-1852 blev det brugt som navigationsskole for lodse.

1926-33 var huset tempel for en frimurerloge.

Fra 1933 til 1945 var det hovedkvarter for nazistpartiet NSDAP og efter krigen hovedkvarter for afnazificerings-kommissionen i byen.

Sydslesvigsk Forening overtog bygningen i 1965 og driver lejrskole på stedet siden 1972.

Skipperhuset tjener i dag stadig som forsamlingshus for de danske organisationer og foreninger i området.