Egykor a „Szüzek fürdőjeként” ismerték, manapság egy ott rendezett szexorgia miatt került az érdeklődés középpontjába a Gellért. Egy időben antirasszista szellemisége miatt is népszerű volt. A szexorgiákról elhíresült Gellért fürdőben egykoron szexuális tanácsadás is volt. A városi legenda szerint egy szerzetes volt az, aki rendre megválaszolta a hozzá forduló szüzek szexuális és morális kérdéseit. Mostanság pedig német biztosító rendezett szexorgiát a Gellért fürdőben, ami 23 millióba került.
Budapest nevezetessége azonban nemcsak a szexualitáshoz való sajátos viszonyáról ismert, hanem a következetesen vallott antirasszista szemléletéről is. Úgy tudni, valamikor a Gellért fénykorában, a 30-as években egy magas rangú, színes bőrű férfi volt a szálló vendége, amikor egyik délután lement a fürdőbe, és ott angol lordok, úriemberek társaságában szintén megmártózott a Gellért gyógyvizében.
A britek felháborodva rajzottak ki a vízből, és vonultak a szálló vezetősége elé, hogy azonnal utasítsák ki a színes bőrű férfit abból a fürdővízből, amelyben ők a fehér testüket áztatják. A fürdő vezetősége a kor szellemiségéhez képest egy meglepően liberális határozatot hozott: „a Gellért Fürdőben mindenki élvezheti a gyógyvíz áldásos hatásait, bőrszínre való tekintet nélkül!” Állítólag az 1990-es években a férfi özvegye Budapestre látogatott, külön köszönetet mondva a Gellért Szálló vezetőségének, hogy annak idején kiálltak a férje mellett.