Az V. kerület egyik legforgalmasabb csomópontjától, az Astoriától csupán néhány lépésre bújik meg a Károlyi kert, melyet a Ferenczy István utca, a Magyar utca, a Henszlmann Imre utca és a Károlyi-palota épülete határol. Ha valaki nem ismeri, tényleg szinte csak véletlenül bukkan rá. Pedig nagyon is érdemes felkeresni.