Der Vertrag von Krakau 1525 bildete eine wichtige Zäsur. Der Orden verlor sein zentrales Territorium Preußen und sein Oberhaupt, den Hochmeister. Das erforderte eine neue Organisation zwischen den restlichen Ordensgebieten in Livland und im römisch-deutschen Reich, zwischen dem livländischen Landmeister und dem Deutschmeister. Der Deutschmeister übernahm die Ordensleitung. Der Ordenszweig in Livland führte ein Eigenleben, Verbindungen zwischen beiden Zweigen gab es kaum. Da knapp vier Jahrzehnte später der Orden unter dem Ansturm aus Moskau auch Livland verlor, blieb er fortan beschränkt auf das Gebiet des Heiligen Römischen Reiches unter habsburgischer Führung.
Hinzu kam die Reformation. Die meisten Ordenspriester verließen den Orden. Ein Teil der Ordensritter wurde protestantisch. Da das Problem der sozialen Versorgung von nachgeborenen Adelssöhnen unabhängig von der Konfession war, blieben die protestantischen Ritter weiter im Orden. Dadurch wurde der Orden trikonfessionell: Katholiken, Lutheraner und Kalvinisten. Der Hochmeister war immer Katholik.
Durch die Union zwischen Polen und Litauen bzw. die Christianisierung Litauens am Ende des 14. Jahrhunderts hatte der Orden seine ursprüngliche Aufgabe des Kampfes gegen die Heiden verloren. Daher existierten Pläne, ihn nach Südosten zu versetzen gegen die auf dem Balkan vorrückenden Türken. Dagegen wehrte er sich in Preußen mit dem Argument, Litauen sei noch gar nicht christianisiert, und in Livland mit dem Argument des Kampfes gegen die russischen Schismatiker. Im römisch-deutschen Reich sah man nur die Etappe. Letztlich war der Orden eine Versorgungsinstitution für den niederen Adel geworden, wie auch die Domkapitel oder manche Klöster.
Nach 1525 mußte der Deutschmeister versuchen, die auseinanderstrebenden Kräfte innerhalb des Ordens unter seiner Führung zusammenzuhalten. Aufgrund der Aufspaltung des Heiligen Römischen Reiches in viele Territorien, noch dazu in der konfessionellen Auseinandersetzung, war das ein großes Problem. Denn der Orden besaß im Reich zwar viele Einzelniederlassungen, aber keine zusammenhängenden Gebiete wie in Preußen oder Livland. Unter jeder Landesherrschaft, in jeder Stadt stellten sich neue Probleme. Die Lösung gelang nur durch eine enge Anlehnung an das Kaiserhaus.
Für die Unterstützung zahlte der Orden einen hohen Preis: Zum einen nahm der Kaiser den Orden in die politische Pflicht des Einsatzes gegen die Türken im Südosten, die 1529 zum erstenmal vor Wien standen. Das seit Beginn des 16. Jahrhunderts habsburgische Ungarn wie auch die österreichischen Länder Steiermark und Kärnten blieben massiv bedroht, die Verteidigungsaufgabe forderte auch vom Orden großen und verlustreichen Einsatz.
Die veränderte Aufgabe des Heidenkampfes wurde 1606 in der neuen Ordensregel berücksichtigt. In Zukunft sollte es kein Ordensamt geben – und damit keine Versorgungsposition –, wenn der Ritter nicht mindestens drei Feldzüge gegen die Türken absolviert hatte. Am Ende des 17. Jahrhunderts stellte der Orden sogar ein eigenes Regiment auf, dessen Führer der Hoch- und Deutschmeister war. Diese militärische Tradition existiert noch heute im Heer der Republik Österreich, wenn auch der Hochmeister schon lange nicht mehr Chef des Regiments ist.
