Katedral Santo Yosef terletak di jalan Gereja, terdapat Cathedra (Tahta) tempat Uskup memimpin Ekaristi (Misa Kudus). Sejarah Katedral ini tidak terlepas dari perkembangan dan penyebaran agama katolik di Bangka, belitung dan Kepualauan Riau dan Kalimantan sejak tahun 1830 oleh Tsen On Ngie (Zeng Aner). Peristiwa penting di gereja ini adalah pada tahun 1935 ketika ditahbiskan sebagai imam seorang Putra Bangka bernama Johannes Boen Thiam Kiat sebagai Pastor Projo pertama di Bangka dan pertama di Indonesia. Namanya sekarang diabadikan menjadi nama balai pertemuan Paroki yaitu Balai Mario Jhon Boen.