حرمسرا یکی از بخش های اصلی کاخ توپکاپی است که ورودی آن در حیاط دوم است و برای ورود به آن باید بلیت جداگانه تهیه شود. حرمسرا محل زندگی سلطان و خانوادهاش بوده است و از نظر معماری نیز تا حدی متفاوت از کاخ و زیباتر است. اینجا با دیوارهای بلندی از کاخ جدا شده و تا سالیان سال فقط افراد خاصی می توانستند وارد آن شوند. حرمسرا بیش از ۳۰۰ اتاق، نه حمام، دو مسجد، اتاق پزشک، خوابگاه خدمتکاران و خواجه ها و رختشویخانه دارد و مدیریت آن برعهده مادر سلطان یا همان والده سلطان بوده است. در واقع این بخش از کاخ شهرتش را مدیون سلطان سلیمان و همسرش خرم سلطان است که حرمسرا را توسعه دادند و به شکل امروزی درآوردند. البته اینجا هم چند حیاط جداگانه دارد و ورودی اول به حیاط خواجگان منتهی می شود و سپس به ورودی اصلی حرمسرا می رسیم که محل ورود به حریم سلطان و شاهزادگان و همسران و مادر سلطان بوده است.
اتاق ملکه مادر، حمام سلطان و والده، تخت پادشاهی، اتاق های خصوصی برخی سلاطین، و .... از دیدنی های این بخش هستند. البته دیدن این بخش و بطور کلی آشنایی با سازماندهی حرمسرا و جزئیات آن نیاز به راهنما یا حداقل مطالعه از قبل دارد.
با بلیط کاخ توپکاپی نمی توانید از حرمسرا بازدید کنید و بیشتر افرادی که museum pass (یک جور پیش خرید با تخفیف ورودیه های مجموعه ای از جاذبه های استانبول) دارند از حرمسرا بازدید می کنند و برای همین در حالی که در کاخ توپکاکی بازدید کننده ها برای عکس گرفتن از هرچیزی باید توی صف بایستند، معدود بازدید کنندگان حرم با آرامشو آزادانی پای هر جزئیاتی می توانند مدتها وقت صرف کنند. اینجا به یک زندان بزرگ و زیبای اشرافی شبیه است. به خصوص وقتی بعد از دیدن کاخ و آن همه فضای سبز و آب آزاد وارد می شوید و این فضای بسته و آینه هایی که برای کنترل هر نوع ورود و خروجی نصب شده اند و راهرو و سکویی که برای غذا رساندن بدون تماس با ساکنین طراحی شده را می بینید. اما این زندان زیباتر از آن منطقه آزاد است؛ دست کم به چشم من.