Grundlage des Neubaus bilden die Ruinen der spätromanischen Kirche St. Columba, einst das Zentrum der größten mittelalterlichen Kölner Gemeinde. 1945 wurde es bei einem Luftangriff fast bis zum Boden zerstört, nur die Kalksteinstatue Unserer Lieben Frau im Altar des Tempels blieb erhalten, für die Gottfried Böhm 1950 1950 eine Sonderkapelle errichtete. Gleichzeitig wurden die Ruinen der Kirche in eine Art Gedenkplatz verwandelt. In den frühen 1970er Jahren entdeckten Archäologen auf ihrem Territorium die Überreste von Gebäuden aus verschiedenen Epochen der Kölner Existenz - antike römische, frühmittelalterliche, romanische und gotische.
Ein solches Objekt des kulturellen und historischen Erbes ist an sich ungewöhnlich schwer wahrzunehmen und zu bewahren, aber als das Museum der Kölner Diözese beschloss, an seiner Stelle - innerhalb und um die vorhandenen Ruinen - ein neues Gebäude zu errichten, um seine umfangreiche Sammlung religiöser Werke zu präsentieren Kunst von der Spätantike bis heute ist die Situation um ein Vielfaches komplizierter geworden. Die Entscheidung, das Museum zu erweitern, wurde bereits 1974 getroffen, aber die Ruinen der Kirche St. Columba wurden erst Anfang der neunziger Jahre als neuer Standort ausgewählt. 1997 fand ein Architekturwettbewerb statt, bei dem das Projekt des herausragenden Schweizer Architekten Peter Zumthor gewann. Die Jury stellte fest, mit welcher bemerkenswerten Fähigkeit Zumthor Fragmente der 2000-jährigen Architekturgeschichte Kölns (von den Fundamenten der antiken Römer bis zur Kapelle "Madonna in den Ruinen" von Böhm 1950) in einem einzigen Ensemble vereinen konnte, das ist mehr als nur die Summe seiner Teile.
Die Restaurierung und Erhaltung der architektonischen Überreste dauerte mehrere Jahre, und der Bau des Columbus-Museums selbst begann erst 2003.
Das Gebäude ähnelt im Grundriss dem lateinischen L und ist im rechten Winkel zur Straße aufgestellt. Seine Wände, die mit flachen und breiten hellgrauen Ziegeln mit dicken Schichten Bindemörtel ausgekleidet sind, scheinen dank der feinen Textur der Oberfläche, die das Ergebnis der Arbeit eines Maurers ist, überhaupt nicht zu sein. Reste der Kirchenmauern sind ebenerdig in sie eingebaut, und über ihnen befinden sich zerbrochene Abschnitte aus "Perforation" und große rechteckige Fenster, die im Gegensatz zum monumentalen Gewicht der 60 cm dicken Mauer stehen. Der Kirchenplan enthält einen kleinen Kieshof auf der Standort des alten Pfarrfriedhofs. Der Besucher betritt es auf dem Weg von der Lobby zur Hauptausstellungshalle im ersten Stock. Diese "Halle" ist ein riesiger Raum von 12 m Höhe, entlang dessen eine Zickzackbrücke über die Fundamente antiker und mittelalterlicher Gebäude gelegt wird, die infolge archäologischer Ausgrabungen gefunden wurden. Zumthor verwendete künstliches Licht hier sehr sparsam, so dass fast das gesamte Licht durch Streifen kleiner Löcher in den Außenwänden des Gebäudes einfällt. Von innen betont diese Technik die scheinbare Entkörperlichung dieser Mauern, die als Anspielung auf die Prinzipien der gotischen Sakralarchitektur oder als Hinweis auf die Werke der damaligen Mystiker angesehen werden kann. Das Oktaeder der Böhm-Kapelle ist im selben Raum eingeschrieben, der jedoch von außerhalb des Museums zugänglich ist.
Am Ende führt eine Brücke den Besucher zu den Räumlichkeiten der ehemaligen Sakristei, die in einen kleinen Innenhof umgewandelt wurde. Es gibt eine Skulptur von Richard Serra "Ertrunken und gerettet".
Über der ersten Reihe befinden sich zwei weitere Stockwerke mit Ausstellungshallen, insgesamt sechzehn. Sie sind als freistehende Blöcke konzipiert - "Häuser", zwischen denen "Straßen" aus weißem Terrazzo liegen; Jede dieser Hallen unterscheidet sich von anderen in Größe, Methode und Intensität der Beleuchtung und Inspektionsweg. Die Exponate werden in ihnen ohne Beachtung der Chronologie und ohne erklärende Texte und Beschriftungen ausgestellt. So wollten die Kuratoren des Museums eine unvoreingenommene Wahrnehmung von Kunstwerken durch das Publikum erreichen.
Im Projekt des Diözesanmuseums Köln vereinte Zumthor Kulturdenkmäler aus verschiedenen Epochen - beide architektonisch, vor Ort gelegen und in die Sammlung des Museums aufgenommen - eine betonte lakonische formale Architektursprache, die durch die Aufmerksamkeit des Architekten für die Besonderheiten des Material, zu seinen taktilen und visuellen Eigenschaften; Eine besondere Rolle spielt dort die Beleuchtung, die für eine vollständige Besichtigung der Exponate fast nicht ausreicht, deren Wahrnehmung jedoch eine besondere Schärfe verleiht. All dies macht dieses Werk zumindest äußerlich ähnlich wie die religiösen Gebäude des Mittelalters, die Epoche des Baus der zerstörten Kirche St. Columba, die ihm ihren Namen gab, sowie die Zeit der Hegemonie des Katholizismus auf dem Gebiet Deutschlands, das die Umwälzungen der Reformation noch nicht kannte. Gleichzeitig lässt die Verwendung der Techniken der Sakralarchitektur beim Bau eines Museums - sogar eines Museums für religiöse Kunst - über eine tiefgreifende Veränderung des Prioritätssystems eines modernen Menschen nachdenken, nicht nur über die Verschiebung von spirituelle Ideale für ein "säkulareres" Bild der Welt, aber auch für einen bestimmten "populistischen" Aspekt der gesamten Sphäre der modernen Kultur. Es sollte jedoch nicht vergessen werden, dass dieselbe Architektur der mittelalterlichen Kathedralen des Westens nicht für eine Handvoll der Elite entworfen wurde, sondern ausnahmslos für alle Gläubigen; Vielleicht setzt Zumthor diese Linie im Columbus Museum fort und spricht jeden von uns durch die Gestaltung seines Gebäudes an.