Der Schlossturm wurde 1510 durch den Bischof Hugo von Hohen-Landenberg in seiner heutigen äußeren Gestalt erbaut. Dieser überaus geschäftstüchtige Mann hatte durch das Prägen von Münzen solchen Profit geschlagen, dass er "die drei Schlösser Arbon, Meersburg und Markdorf gar schier neu erbauen konnte".
Bischof Hugo erstellte den Markdorfer Bau ganz von Grund auf, und die mächtigen Pfeiler aus behauenen Steinen im Keller und die darauf sich abstützenden gewaltigen Eichenbalken stammen aus jener Zeit
Die Stadt wurde zu jener Zeit von einem Bürgermeister und Rat geleitet. Der Vertreter des Bischofs war der Amtsmann, welcher mit Zustimmungsrecht der Markdorfer eingesetzt wurde und der die Rechte des Bischofs der Stadt gegenüber vertrat. Er war gleichzeitig oberster Gerichtsvorsitzender. Daneben gab es noch den Obervogt, welcher der unmittelbare Verwalter der umfangreichen Besitztümer des Bischofs war und der auch die Zehnteinkünfte einsammelte, die in den Zehntscheunen aufbewahrt wurden.
Fürstbischof Johann Franz Schenk von Staufenberg (1704 - 1740) errichtete eine Großbaustelle. Der Schlossturm wurde völlig in barockem Stil umgebaut, wovon heute noch das 4. Obergeschoss in der ursprünglichen Pracht der Stuckdecken erhalten ist. Staufenberg erbaute auch das Barockschloss zwischen Schlossturm und Untertor, sowie die große Schlossscheuer (1838) wie sie bis zur Sanierung bestand und nunmehr in der äußeren Gestalt wieder erstanden ist.
Im Jahr 1845 wurde das Schloss an einen Arzt verkauft und anschließend als Wohnhaus und Apotheke genutzt. Im Jahr 1961 erwarb die Stadt das Bischofschloss.
Im Rahmen einer mustergültigen Sanierung wurde im Jahr 1984 das Hotelrestaurant Bischofschloss eröffnet und 1987 hat man begonnen das neue Schloss, die alte Apotheke, auszubauen, worin 20 weitere luxuriöse Hotelzimmer im Barockstil entstanden sind.
Im Jahr 2002 übernahm Bernd Reutemann den Hotelbetrieb und modernisierte die gesamte Innenausstattung. Das nunmehr geschaffene Werk ist ein Schmuckstück der Gehrenbergstadt geworden.