Vize Kalesi’nin ne zaman inşa edildiğine dair çok fazla yazılı kaynak bulunmamaktadır.
Vize Kalesinin ilk inşasının M.Ö. 72-76 yıllarında olduğu tahmin edilmektedir. M.S. 46’da Vize’nin Roma egemenliğine girmesinden sonra İmparator Trayanus döneminde şehir imar ve ihya edilmiş, şehir surlar onarılmıştır.
Roma İmparatorları Hadrianus (MS 117–138) ve Philip (MS 244–249) dönemlerinde bastırılan Vize’nin adı bulunan sikkelerin arka yüzünde, Vize Şehir Surları, surlara ait kapılar, kuleler ve diğer objeler yer almaktadır.
Roma Dönemine ait Vize Sikkelerin bazılarında, iki kule ile çevrili surlar, kemerli yarı açık kapının arkasında binanın sağlamlığını gösteren bir parmaklık görülmektedir. Duvarlar kabartmalarla süslenmiştir, Biri solda üç periyi, diğeri sağda Trakyalı biniciyi gösteriyor. Bunlar Trak kültlerine atıfta bulunur ve kültürel kimliğin işaretleri olarak görülebilir. En üst katta, içinde askerlerin bulunduğu yedi kemerli bir galeri bulunmaktadır.
Bazılarında ise Bizye şehrinin havadan genel bir görünümü, on kule ve bir şehir kapısı görülmektedir. Kent kapısının üzerinde, alınlığın süslemesi olarak, iki yanında belirsiz iki figürle çevrili, sağda bir dörtgen ve yedi kemerden oluşan bir galeri görülebilir. Bizye surlarının içinde sol tarafta iki bazilika, sağ tarafta ise üç zafer sütunu tasvir edilmiştir.
Vize Kalesinden günümüze ulaşan bir diğer yazılı argüman ise, Lüleburgaz İlçesinde bulunan ve bugün Edirne Arkeoloji ve Etnografya Müzesinde sergilenen II.yy. Roma dönemine ait Onarım Kitabesidir. Kitabede "Uğurlu olsun, muzaffer ve evrenin sonsuz hakimi İmparator Caesar Hadrianus Aritoninus Caesar Augustus için Bizye şehri sur kalelerini Firmis Aulus Pareas ve Kenthos oğlu Autos, Kenthos oğlu Dautos ve Hyakinthos oğlu Rabdos’un bağışlarıyla yaptırdı" yazmaktadır.
Vize’de bulunan Yunan Okulunda öğretmenlik yapan, Savvas Ioannidis’in 1886 yılında kaleme aldığı çalışmasında, Vize’deki birçok arkeolojik eserin yağmalanmasını üzüntü ile anlatmakta, Vize surlarının kuzey kısmının uzun zaman önce yıkıldığını ve taşlarının yaklaşık seksen yıl önce Lüleburgaz’da köprü ve yol çalışması yapımında kullanıldığını belirtmektedir.
Savvas Ioannidis’in bu açıklamalarından Vize Kalesinin yakın geçmişe kadar büyük bir kısmının ayakta olduğunu ve Onarım Kitabesinin neden Lüleburgaz’da bulunduğu sorusunun cevabını da üzülerek öğrenmekteyiz. Savvas Ioannidis ayrıca, şehrin üç kapısı olduğunu, Akrapolis’in kapısı ile çevresindeki bazı kulelerin korunduğunu belirtmiş, suyu koruyan iki-üç kuleden bahsetmiştir.