Als 1436 erstmals die Zugehörigkeit des Weilers in Ermingen zur Herrschaft Arnegg schriftlich bestätigt wird, waren die Herren von Stein verschwunden und mit Hans dem Reichen, "wirtembergischer Hofmeister" und Rat zu Stuttgart, ein neues Geschlecht, die Herren von Stadion, einer mit dem Stein stammverwandten ober- schwäbischen Familie, an deren Stelle getreten. Hans besaß die Herrschaft Arnegg zunächst nur zur Hälfte pfandschaftlich. Sein Neffe Wilhelm konnte jedoch von dem in Geldnot geratenen Grafen Ulrich (V.) von Wirtemberg Stuttgart und dessen Sohn Eberhard (VI.) im Jahr 1470 um 6.300 Gulden (f) die ganze Herrschaft eigentümlich erwerben. Die zumeist ortsabwesenden, weil in Reichs - und habsburgischen Diensten stehenden Wilhelm und Sohn Hans von Stadion, verpfändeten Arnegg oder Teile der Herrschaft mit obrigkeitlichen Rechten um 1480 an Mang Krafft, Bürgermeister zu Ulm und Pfleger des Klosters Söflingen (+ um 1491) bzw. an dessen Witwe Adelheid Steinhöwlin und deren Söhne Matthäus und Jörg Krafft, die noch 1513 als Träger von Hoheits - und Lehensrechten an Hotgütern zu Ermingen erschienen. Um 1520 tat sodann mit Hans Simon (d.Ä.), dem Enkel Wilhelms, sicherlich nach Auslösung der Verpfändung, das Haus Stadion wieder unmittelbar in die Herrschaft ein. Hans Simoi begann mit dem Aufbau des Burgstalls zum Schloss, wurde ortsansässig und nannte sich Stadion zu Arnegg. Dass die mit täglichen ungemessenen Fronen hintersäßigen Erminger Bauern und Seldner an diesem Bauwesen mit Spann- und Handdienste beteiligt waren, liegt auf der Hand. Hans Simon vergrößerte die nunmehr reichslehnbare Herrschaft 1539 aus der Klingensteinischen "Konkursmasse" (Dietingen/Markbronn Wippingen). Erstmals Ist 1510 von einem unter einem Gerichtsnamen in Arnegg tagenden Herrschaftsgericht die Rede, in das auch Söflinger Hintersaßen in Ermingen als Richter gewählt werden. 1533 konnte Hans Simon den Streit um die Obrigkeit über den Hof des Ulmer Augustinerchorherrenstifts in Ermingen (er wird seit 1504 urkundlich genannt) für sich entschieden. Der "Wengenbauer" war fortan hoch - und nieder- gerichtlich dem Stadion'schen Gericht in Arnegg unterworfen und nur noch mit Gülten und Grundzinsen dem Wengenstift zugetan. Weniger günstig verlief der seit alters schwelende und nie ganz erloschene Streit mit dem Kloster Söflingen um die Hoheitsrechte über dessen Hotbauern und beiden Seldner in Ermingen. Als Kirchherrinnen von St. Florian in Harthausen, Inhaber der geistlichen Obrigkeit, wussten die mitunter sehr streitbaren Äbtissinnen ihren Einfluss auch auf die weltlichen Dinge in Ermingen zur Geltung bringen. Es bedurfte 1627 eines kaiserlichen Mandats, um die Hochgerichtsbarkeit des Stadion über die Söflinger Güter in Ermingen durchzusetzen.

Über den Empfang des Stadion´schen Besitzes in Ermingen gibt erstmals das Teilungslibell von 1612, das den Nachlass des 1611 verstorbenen Wolf Dietrich (d.Ä.) unter dessen Söhne Hans Simon (d.J.) und Hans Jakob (d.A.) aufteilte, näheren Aufschluss. Die Erminger Hintersaßen, die mit der unteren Herrschaft Hans Simon zufielen, setzten sich damals aus 4 großen Bauern, von dem Hans Florian mit 20 Scheffel Veesen (=Dinkel) und 17 Scheffel Haber die höchsten Naturalzinsen ablieferte, 4 halben Bauern von diesen bewirtschafteten 3 die Lehen im Genterslau - und von 9 Seldnern, einem Hirten und einer Wirtfrau zusammen. Mit dem Wengenbauer und den Söflinger Untertanen bestand der Weiler aus 23 Haushaltungen mit schätzungsweise 100 bis 120 Einwohnern. Zu den alten Bauernfamilien gehörten Geßler, Glöcklin, Floß und Wieland. Sie sind mit den Bewohnern von 1303 nicht mehr vergleichbar.

Der 30 - jährige Krieg hat Ermingen stark in Mitleidenschaft gezogen. Als 1633 die Stadion'sche Burgherrschaft vor den Schweden geflohen war, mussten die Untertanen der Reichsstadt Ulm huldigen, was ihnen allerdings einen gewissen Schutz vor Übergriffen des schwedischen Obristen Schlammersdorf verschaffte. Nach der blutigen Schlacht bei Nördlingen (1635) rafften auch in katholischen Gebieten Hunger und Seuchen zahlreiche Einwohner hinweg. Die große Pestepidemie in den Jahren 1634/ 35 hielt auch auf dem Hochsträß Einzug. Im Totenregister dieser Jahre sind die Namen derer dokumentiert, die an der Pest gestorben sind. Alleine von März bis Oktober 1635 waren es über 30 Einwohner von Ermingen, die dieser Seuche zum Opfer fielen. Insgesamt dürfte etwa die Hälfte der damaligen Bewohner des Dorfes an der Pest gestorben sein (bei ca. 120 Einwohnern sind dies ca. 60 Pesttote). Die Höhe der Verluste des 30-jährigen Krieges lässt sich an den fremden Namen des Lebensbestandsbuchs von 1636 ablesen, das Wolf Wilhelm von Stadion nach seiner Rückkehr aus dem Exil anlegen ließ. Die erneuten Drangsale und Brandlegungen der letzten Kriegsjahre hinterließen über Jahrzehnte Brandstätten, darunter auch die der Erminger Kapelle, und machten eine Neuverteilung von "herrenlosen" unbebaut liegenden Feld- stucken unter einer dezimierten, durch Zuwanderung gewandelten Bevölkerung notwendig. Die gewaltsame Besetzung des Schlosses Arnegg nach dem unerwarteten Tod des jugendlichen Hans Wolf von Stadion durch dessen Onkel, den kaiserlichen Obristleutnant Nikolaus d´Heures und dessen langwierigen Streitigkeiten mit den Stadion´schen Agnaten, waren der Erholung der Untertanen ebenso abträglich, wie die Pfandherrschaft des Donauviertels der Schwäbischen Reichsritterschaft von 1683-1698.