Het prachtige Hannemahuis is genoemd naar de familie die er ruim twee eeuwen woonde. In 1743 betrok Sjoerd Hannema het huis. Zijn zoon Jan Hannema ( 1746-1825) was jeneverstoker en had zijn bedrijf achter het woonhuis. Het fundament van de stokerij zijn nog in het museum te zien. De oudste delen van het voorhuis dateren uit circa 1545 en de huidige, monumentale voorgevels dateren uit 1744 en 1825. De Hannema’s exploiteerden zoutketen waar ruw zout werd geraffineerd. In het begin van de 20ste  eeuw handelden de Hannema’s ook in zuidvruchten en was er een agentschap van De Nederlandsche Bank in het achterhuis gevestigd.

De laatste bewoner, Leendert Jacobus Hannema (1889-1964) stichtte in 1957 het museum in het vroegere kantoor van de firma Sjoerd Hannema. Na zijn dood in 1964 werd ook het voorhuis als museum in gebruik genomen en kwam het geheel door een legaat in bezit van de Gemeente Harlingen die het Hannemahuis sindsdien exploiteert.Het museum verzamelt en exposeert voorwerpen en verhalen die van belang zijn voor de Harlinger (kunst-) geschiedenis. Naast de vaste presentatie worden tijdelijke tentoonstellingen georganiseerd.