Der früheste Beleg für die Familie, die spröde Notiz „Fucker advenit dedit XLIIII denarios dignus“ (Fucker ist angekommen, hat 44 Pfennige gegeben, würdig) aus dem Jahr 1367, findet sich in einem Augsburger Steuerbuch, denn wie immer war es zuerst die Finanzverwaltung, die sich für einen Neuankömmling interessierte. Hans Fugger aus Graben, der von der Trivialliteratur oft verklärte Stammvater, hatte den Zeitpunkt seines Aufbruchs in die nahe Großstadt geschickt gewählt: Immigration wurde von der Stadt seit 1366 nachhaltig gefördert, und für einen Barchentweber boten sich ungeahnte Chancen: Die Baumwoll-Flachs-Mischgewebe, die in der ersten Hälfte des 14. Jahrhunderts zu den Exportschlagern der lombardi?schen Textilindustrie gezählt hatten, wurden seit der zweiten Hälfte in Oberdeutschland erfolgreich kopiert und erreichten im 15. Jahrhundert sogar eine beherrschende Stellung.
In diesem Innovationsprozeß entwickelte sich Augsburg zu einem Zentrum, und 1429 hieß es in einem Ratsschreiben: „Das mayste gewerb das wir hie haben [ist] mit barchentten davon sich ein unzälbare folk hie bei vns nerend“. Die Baumwolle mußte allerdings importiert werden, vor allem aus Venedig. Da es sich um eine recht junge Branche handelte, bot sich für kapitalkräftigere Weber, die sich mit diesem Rohstoff auskannten, eine Chance, in den Zwischenhandel einzusteigen.
Zu ihnen zählte zweifellos Hans Fugger. Das läßt sich, obwohl direkte Belege fehlen, aus seinen Vermögensverhältnissen erschließen. Mit einem Steuervermögen von rund 1800 Gulden zählte er 1396 zu den reichsten zwei Prozent der steuerpflichtigen Augsburger Bevölkerung – eine Position, die durch Handarbeit nicht zu erreichen war. Er war aber weder der einzige noch der erfolgreichste „Newcomer“. Andererseits gilt aber auch: Andere Familienmitglieder – nach Hans hatten sich noch zwei Brüder und ein Vetter in Augsburg niedergelassen – blieben im knallharten Textilgeschäft auf der Strecke; ihre Nachkommen lassen sich als bitterarme Weber noch bis ins 15. Jahrhundert verfolgen.
Nachdem Hans Fugger 1408 verstorben war, führte seine Witwe Elisabeth Gevattermann jahrzehntelang den Handel weiter, da die Söhne Andreas und Jakob noch zu jung waren. Geschäftlich war sie sogar noch erfolgreicher: 1434, kurz vor ihrem Tod, wurde die Familie schon mit einem Steuervermögen von knapp 5000 Gulden veranlagt. Möglicherweise arbeitete sie mit Hans Fugger d. J. zusammen, einem Neffen ihres Mannes, der bei ihnen im Haus aufgewachsen war und es als einziger Verwandter zu einigem Wohlstand brachte.
Aus dieser Zeit stammen auch die ersten direkten Belege für eine Beteiligung am Baumwoll- und Barchenthandel: 1430 protestierte Salzburg wegen einer angeblich nicht verzollten Partie „Wolle“ des jungen Hans Fugger, und 1438 erwähnt das Handelsbuch des Nürnberger Kaufmanns Marquard Mendel Barchentballen der Fugger, die mit dem „Dreizack“, der später weltbekannten Handelsmarke des Hauses, gekennzeichnet waren. Wie die Steuerveranlagung der Söhne zeigt, führten sie die Firma anfänglich gemeinsam „in ungeteiltem Erbe“ weiter, doch wurde das Familienvermögen dann 1455 aufgeteilt.
