A múzeum 125 évét végig-kísérte az önálló múzeumépületért folytatott küzdelem… Hiszen az összegyűlt műtárgyak bemutatására alkalmas hely nélkül hogyan lehetne felkelteni és fenntartani a közönség érdeklődését, s támogatói kedvét? Tudták ezt már az alapítók is, ezért volt nagyon fontos, hogy sikerüljön egy állandó múzeumépületet találniuk, vagy építeniük.

Bauer Mihály háza a Tabánban, a Duna parton, egy erősen lejtős telken állt. A Duna felől impozáns, kétemeletes épület Tabán utcai része már alacsony, egyszerű földszintes házra emlékeztetett. A ház a Hegyes torony tőszomszédságában állt, nem véletlen hát, hogy Bauert foglalkoztatta a „Hegyes” múzeummá alakításának terve. Először az 1897. november 21-i választmányi ülésen állt elő indítványával, mely szerint az igazságügy minisztertől a Hegyest múzeumegyleti helyiség céljára kellene kérvényezni. A terv támogatókra talált, s egy négytagú bizottságot jelöltek ki – Bauer Mihály mellett dr. Kiss József, Zsigmond János és Tragor Ignác volt a bizottság tagja – amelynek feladata a kérvénynek a címzetthez való mielőbbi eljuttatása volt. Később Bauer átdolgozta az emlékiratot, s az átdolgozott változatot küldték el.

Addig is, míg a válasz megérkezik, s a tervezett új múzeum felépül, Bauer a saját háza Tabán utcára néző földszintes részén egy nagy helyiséget ajánlott fel múzeumi célokra. A Tabán utcai egyleti helyiség külső megjelöléséről a választmány 1897. december 23-i ülése hozott határozatot. Bauer igazgató számára 15 forintot utaltak ki „MÚZEUM” feliratú márványtábla elkészíttetésére. A kiállítás 1898. február 27-én vasárnap nyílt meg. A látogatási időt délelőtt 10 – 12 és délután 2 – 5 óra között határozták meg. A megnyitás napján csupán 14-en nézték meg, azonban – talán a tavaszi napsugaraknak, talán a vezetőség szervezőkészségének hála – március 13-án már 60-an, s a következő vasárnap már 101-en voltak kíváncsiak a gyűjteményre. Június 26-án már az ezredik látogatót köszönthették.

A múzeumlátogatás lassan a vasárnapi korzózás részévé vált. Ennek a bíztató folyamatnak egy piros lámpa állta útját, amely lámpa történetesen a múzeummal szemben lévő ház kapuja fölött világított.

A Váczi Közlöny – amely a Váci Múzeum Egyesület hivatalos közlönye volt ebben az időben – 1898. október 23-i száma beszámolt a VME választmányi üléséről, melyen Bauer Mihály igazgató tájékoztatta az egybegyűlteket arról a felháborító tényről, hogy a „múzeum helyiségeivel szemben bordélyház van engedélyezve, melyet ő a múzeum és a múzeum látogatók jó hírének megóvása érdekében okvetlenül megszüntetendőnek tart.” Bauer javaslatára a bordélyház megnyitásának megakadályozása érdekében kérvényt fogalmaztak meg, melyet az alispánhoz küldtek. A kérvény azonban nem érte el a kívánt célt, s Csík Volecz Sándor múzeumőr a november 8-i választmányi ülésen már azt jelentette be, hogy a bordélyház megkezdte működését. A választmány ezért megbízta Tragor Ignác titkárt, hogy föllebbezzen a bordély ellen a magyar királyi belügyminiszternél. A nagyobb hatás elérése érdekében bezárták a múzeum helyiségeit, s elhatározták, hogy mindaddig zárva tartják, míg a felháborodásra jócskán rászolgáló műintézet el nem költözik. De az intézkedés már hatástalan volt. A gyermekeik erkölcseit féltő anyák, a saját jó hírüket őrző váciak ekkorra már elkerülték a múzeum környékét is. Míg október 30-án 50-en tekintették meg a kiállítást, addig november 6-án már csak 4-en léptek be a vörös lámpás házzal átellenben lévő múzeumi helyiségbe.

Sok kérdést vet fel a bordély-ügy. Kálló Antal rendőrkapitánynak nagyobb befolyása volt a városban, mint a múzeum egylet vezetésében szerepet játszó Csávolszky József kanonoknak, Freysinger Lajos közjegyzőnek, Révész Béla ügyvédnek, és iparbanki jogtanácsosnak, akik egyébként mind tagjai voltak a városi képviselőtestületnek is? Miért nem lépett fel a rendőrkapitánnyal szemben a múzeum érdekében a polgármester, Zádor (Zechmeister) János, aki a befolyásos Révész Béla lekötelezettje volt? Miért nem hallatta szavát az egyház? Az eset mindenesetre rávilágít arra, hogy a kultúra, a múzeumügy, a múzeum egylet korántsem bírt olyan fontossággal, mint a város kasszájába jelentős bevételt hozó bordélyház engedélyezése. Úgy tűnik a szellemi élvezetek másodlagosak voltak az amúgy magát erkölcsös püspöki székvárosnak tartó Vácnak, s míg „más városokban arra törekszenek, hogy minden közhasznú intézet kellő pártfogásban és gyámolításban részesüljön, itt nálunk pedig úgy látszik az ellenkező történik.”- írta szomorúan a Váczi Közlöny cikkírója 1898. november 20-án. Az „ideiglenes” zárva tartás tartósnak bizonyult, de ez már egy másik történet…