Pada awal berdirinya tahun 1879, Gereja Katedral Medan adalah sebuah gubuk beratap daun rumbia dan ijuk tempat beribadat puluhan umat Katolik (yang mayoritas suku India-Tamil dan Belanda) di Jl Pemuda No 1 (dulu disebut dan dikenal sebagai Jl Istana). Melihat perkembangan jumlah umat yang pada tahun 1884 sudah berjumlah 193 orang, maka sejak tahun itu sudah dipikirkan bagaimana memperbaiki dan memperbesar gubuk beratap daun rumbia dan ijuk tersebut. Barulah pada tahun 1905, ketika umat Katolik sudah berjumlah 1200 orang, pembangunan Gereja yang sekarang ini mulai dilaksanakan.  Pembangunan gereja pada tahun 1905 tersebut diprakarsai dan dilaksanakan oleh para Pastor Ordo Jesuit yang bekerja di Medan. Gereja Katedral ini pada waktu itu dibangun dengan dinding batu, beratap seng dan sebagian masih beratap daun rumbia dan ijuk serta diresmikan pada bulan Nopember tahun itu juga.

          Mulai 30 Januari 1928, Gereja diperluas dengan menambah bagian panti imam, ruang pengakuan dosa serta dengan pelataran depan dan menara. Perluasan dan pembangunan permanent pada tahun 1928 tersebut dirancang oleh arsitek Belanda yang bernama Mr. Han Groenewegen dan dilaksanakan oleh Mr. Langereis. Hasil dari rancangan arsitek dan pelaksanakan tersebut  yang dapat kita lihat saat ini, yang menjadikan Gereja Katedral di Jl Pemuda No 1 Medan (dikenal dengan sebutan Gereja Katedral) sebagai salah satu bangunan tua bersejarah dan bernilai arsitek yang tinggi di kota Medan ini. Sebutan lengkap dan resmi untuk Gereja Katedral ini adalah Gereja Katolik Santa Maria Tak Bernoda Asal – Katedral Medan.

          Ada satu bangunan tua lain di sisi kanan dari Gereja Katedral. Bangunan tersebut adalah rumah tempat tinggal para pastor yang biasa dikenal dengan sebutan pastoran. Pastoran Katedral dibangun pada tahun 1906 berdinding kayu dan juga beratap rumbia dan ijuk. Barulah dalam masa selama tahun 1964 – 1965 bangunan pastoran tersebut diganti dengan gedung permanent sebagaimana yang dapat kita lihat pada saat ini. (sekretariat Katedral Medan)