Das Leinwandhaus, einer der ältesten Profanbauten der Stadt, liegt in unmittelbarer Nachbarschaft zum Dom und in Rufweite zur Kunsthalle Schirn und dem Museum für Moderne Kunst. Um 1400 errichtet, diente es über die Jahrhunderte, neben dem Tuchhandel, verschiedensten Zwecken: als Gericht und Gefängnis, Lazarett und Schlachthaus, als Herberge für Stadtschreiber und Geisteskranke, als Stadtmuseum und Kunstgalerie. 1984 wurde das Leinwandhaus als eine der letzten Kriegsruinen wieder aufgebaut. Das Gebäude steht unter Denkmalschutz.
Der Umbau des Leinwandhauses für das Caricatura Museum wurde in den Jahren 2007 und 2008 von dem Eichstätter Architekturbüro Diezinger + Kramer geplant. Dasselbe Büro ist auch für die Bearbeitung der Altbauten des Historischen Museums verantwortlich. 2011 gewannen Diezinger + Kramer den „best architect“ in Gold für den Umbau des Leinwandhauses. Der in Düsseldorf verliehene best architect award wurde in dem Jahr unter 298 Einsendungen 74 Mal vergeben, darunter 12 Mal in Gold.