Kırklareli’nin ilk Hastanesi, 19. Yüzyılın sonlarında Köseoğlu Süleyman’a ait Karakaş Mahallesinde, bugünkü Zincirlikuyu Caddesi üzerinde bulunan evin kiralanması ile kurulmuştur.
Devlet arşivlerinden çıkan 1886 yılına (H.1304) ait belgede, Doktor Ali Efendi'nin Kırklareli’nde bulunan bu hastaneye terfien tayin edildiği anlaşılmaktadır.
Köseoğlu Süleyman’a ait Karakaş Mahallesinde bulunan evin yetersiz kalması nedeniyle, Neşet Paşa döneminde, 1892 yılında (H.1310) Karakaş Mahallesi sınırları içerisinde, (77 ada, 1 parsel üzerinde/Yıkılan Devlet Hastanesi Arazisi) şehrin kuzey batısında yeni bir hastane yapılmış, adına da Gureba Hastanesi denilmiştir. Erkek ve Kadınlar için iki ayrı bölümden oluşan hastane, bodrum kat üstünde yükselen iki kattan oluşmakta idi. Birinci katta depo, eczane, muayene odaları, doktorlar, hastane müdürü ve hademe tarafından kullanılan sekiz oda, en üst kat olan ikince katta ise elli yatak kapasitesine sahip dört koğuş, bir salon ve diğer bir oda iki ayrı koridora açılmakta idi.
Dönemin mimarisine uygun bir şekilde neo klasik tarzda kargir olarak inşa edilen bu güzel bina, bodrum katı üstünde yükselen iki kattan oluşmaktadır. Ön cephesindeki giriş bölümünde bulunan iyon tarzında dört sütun, ikişerli olarak arşitrav ile üst katın çıkma bölümünü desteklemekte, ana girişinin sağ ve solunda üçer basık kemerli pencere, duvar yüzeyinden dışarıya taşırılarak aralıklı olarak kademelendirilmiştir. Katlar arası ve ikinci katın çatıya kavuştuğu kısım yatay silmeler ile belirgin hale getirilmiştir. Giriş kattaki sütunların desteklediği ikinci kattaki çıkıntı kısım, kırma çatıyı gizleyen üçgen alınlık ile buluşarak binaya estetik bir hava katmıştır.1912 yılında patlak veren Birinci Balkan Savaşı esnasında Kırklareli, Bulgarlar askerleri tarafından işgal edilmiş, başta askeri kışlalar, hükümet konağı, belediye binası, Kocahıdır Mahallesinde bulunan okul binası olmak üzere kamu binası ve sivil halkın ikamet ettiği birçok bina askeri amaçlar dahilinde kullanılmaya başlanmış, Gureba Hastanesin de yaralı Bulgarlar askerlerinin tedavisinde de kullanıldığı o döneme ait fotoğraflardan anlaşılmıştır.
Devlet arşivlerinde rastlanılan 1896 yılına (H.1314) ait diğer bir belgede Kırklareli’nde görev yapan muhtarların Gureba Hastanesini Redif Deposu (yedek askerlere ait askeri depo) olarak kullanmak için izin istedikleri görülmektedir. Bu talebe yönelik izin verilip verilmediği hakkında herhangi bir bilgi ve belgeye ulaşılamamıştır. Burada ilginç olan hastanenin daha yeni inşa edilmesine karşın, taşrada en alt düzey sivil kamu idarecileri olan muhtarların bu binayı askeri depo olarak kullanma isteğidir. Dönemin koşulları itibari, 93 Harbi olarak adlandırılan 1877-1878 Osmanlı-Rus Savaşı sonrasında Balkanlardan büyük bir göç dalgası yaşanması, gerek Balkanlarda gerekse Kırklareli’nde yaşayan ve nüfusun çoğunluğunu oluşturan Bulgar ve Yunan çetecilerin aşırı taşkınları, Müslüman halka zulüm ve zorbalıkları nedeniyle, muhtarların savunma amaçlı silahlandığı ve kamuya ait bu binayı da silah ve mühimmat deposu olarak kullanmak üzere talep ettikleri düşünülebilir. Bunun yanı sıra, buradan hastane binasının bir takım fiziki eksikliler nedeniyle bir şekilde kullanılamadığı ya da hastanede görev yapacak doktor bulunmadığı vb. nedenlerden dolayı hastanenin boş olduğu veya faaliyet dışı kaldığı, dolayısı ile atıl kalan hastane binasının bu nedenle tercih edildiği de düşünülebilir.
