In gutem und gepflegtem Zustand präsentiert sich am Osttor unter Kastanien die Herz-Jesu-Kapelle, ein Backsteinbau im Stile der Neugotik. Sie wurde von dem bekannten Architekten Rinklake aus Münster entworfen, der auch die Pläne für das St.-Josef-Stift fertigte. Auf ihren Fundamenten stand früher die sogenannte Ostenkapelle inmitten der städtischen Gemarkung Ostheide. Diese Kapelle war nach dem großen Stadtbrand von 1806 der einzige feste Blickpunkt aus Sicht der Schulstraße, denn sämtliche Häuser aus dem Ostviertel der Stadt waren dieser Brandkatastrophe zum Opfer gefallen. Die damalige französische Besatzungsregierung wollte nach dem Brande in Nähe der Ostenkapelle einen neuen Begräbnisplatz anlegen lassen, doch kam dieser Plan nicht zur Ausführung. Die alte Kapelle mußte als dann wegen Baufälligkeit abgebrochen werden. Für die Fronleichnamsprozession wurde an ihrer Stelle bis zur Errichtung der neuen am Wohnhaus des Müllers Stricker alljährlich im Freien ein Altar aufgestellt. Das neue Bauwerk mit seinem kreuzförmigen Giebeldach mit Kreuzblumen zeigt am Spitzbogen des Eingangs ein Schriftband aus Sandstein mit der Inschrift "Jesus, sanftmütig und demütig von Herzen, bilde mein Herz nach deinem Herzen". Im Inneren befindet sich eine Sandsteinstatue mit der Darstellung Christi entsprechend der von Papst Leo XIII. angeregten Verehrung des Heiligen Herzen Jesu. Einschmiedeeisernes Gittertor schützt den offenen Innenraum.