1303 erscheint eines der Häuser in den Urkunden aus denen der "Wilde Mann am Rathausplatz" hervorgegangen ist. Das Eckhaus des heutigen "Wilden Mann" ist jahrhundertelang das Stadtrichterhaus. Am Hauseck bei den Heiligen St. Stephan und St. Nikolaus befindet sich der Passauer Pranger.
Einer der reichen Mautner, Patrizier und "Fugger von Passau", ein Freund großer Maler spätgotischen Donaustils, besitzt den "Wilden Mann" von 1480 bis 1537.
1844 erwirbt Anton Niederleuthner das "Gasthaus Wilder Mann" mit Weinhandel in der Schrottgasse 4 und macht es zu einem renommierten Hotel in dem im 19. Jahrhundert die "Große Welt" absteigt. Die Wittelsbacherin Elisabeth II. ("Sissi"), Kaiserin von Österreich, verbringt im Jahr 1862 acht Tage im "Wilden Mann". Sie trifft sich hier mit Ihren Eltern Herzog Max und Herzogin Ludowika in Bayern und mit ihrer Schwester Königin Marie von Bourbon-Neapel. Am 19. Juli 1878 übernachtet die Kaiserin ein zweites Mal.
Zu Gast waren u.a. auch: Adalbert Stifter, Generalstabchef Graf Moltke und Graf Zeppelin. Nach der Jahrhundertwende verfällt das Hotel "Wilder Mann". In den Weltkriegen wird es zur Notherberge für Flüchtlinge.
1979 erwirbt die Familie Georg Höltl das alte Stadtrichterhaus am Rathausplatz, ein Patrizierhaus in der Höllgasse und zwei Patrizierhäuser mit dem Hotel "Wilder Mann" in der Schrottgasse 2-4 und vereint diese vier Altstadthäuser zum Gebäudekomplex "Wilder Mann am Rathausplatz". 4400 qm sind Glasmuseum Passau und 2200 qm Hotel.
Am 15. März 1985 wird der "Wilde Mann am Rathausplatz" von Neil A. Armstrong, dem ersten Mensch auf dem Mond, eröffnet. Das historische Hotel beherbergt seither wieder namhafte Persönlichkeiten aus Politik, Wirtschaft und Kultur: Michael Gorbatschow, seine Allheiligkeit Patriarch Bartholomäus I., die Kardinäle Meisner, König und Wetter, König Simeon II, die deutschen Bundespräsidenten Dr. Richard von Weizsäcker mit Frau, Prof. Dr. Roman Herzog mit Frau, Dr. Johannes Rau mit Frau, Dr. Horst Köhler mit Frau.