Дворцовый комплекс Шарлоттенбург был преподнесен в подарок королеве Софии-Шарлотте ее мужем Фридрихом III. Возводить летнюю резиденцию архитектор Иоганн Арнольд Неринг начал в 1695 году, а к 1699-му центральный корпус здания — тогда еще без башни — уже был закончен. Строительство боковых крыльев и 48-метрового купола курфюрст, ставший в 1701 году первым прусским королем Фридрихом Вильгельмом I, поручил уже другому архитектору — Иоганну Фридриху Эозандеру. Свое нынешнее название дворцовый комплекс получил уже после смерти Софии-Шарлотты. Тогда же был разбит регулярный парк наподобие версальского — с дорожками-лабиринтами и фонтанами.

В Шарлоттенбурге несколько лет жил и Фридрих Великий, дожидаясь завершения работ в другой своей резиденции — дворце Сан-Суси в Потсдаме. В 1740–1746 годах его придворный архитектор Георг фон Кнобельсдорфф приделал к зданию так называемый Новый флигель. А завершил строительство дворца Карл Лангханс в 1788 году — Фридрих Вильгельм II поручил ему соорудить дворцовый театр.

Все в том же 1788-м все тот же Лангханс возвел Бельведер в глубине парка. Сейчас в овальном павильоне с потайными комнатами и балкончиком на двоих выставлена коллекция фарфора.

В конце XVIII века регулярный французский парк начали заменять на английский пейзажный: вырыли новые озера, заново насыпали холмы. Выглядеть все это должно было как заросшая римская вилла: с беседками, гротами и непременным домиком отшельника — Эрмитажем. Средств не хватило только на искусственные руины.

С восточной стороны Шарлоттенбурга располагается летний домик в итальянском стиле — павильон Шинкеля. Карл Фридрих Шинкель, ведущий архитектор того времени, построил этот дом в 1825 году. Сегодня здесь находится небольшой, но достойный посещения музей, где выставлены рисунки и наброски художников ранних 1800-х годов. Некоторые зарисовки были выполнены самим Шинкелем.

В оформлении дворца участвовал скульптор Густав Герман Блезер, создавший мраморные бюсты Данте, Петрарки, Тассо и Ариосто. Последними работами по оформлению Шарлоттенбурга руководил Карл Фридрих Шинкель. Он построил стилизованный под дорический храм мавзолей королевы Луизы, первой жены Фридриха Вильгельма III, а в 1824 году король поручил ему строительство небольшого летнего домика, который позже получил название павильон Шинкеля. За образец была взята классическая итальянская вилла Кьятамоне.

Во время Второй мировой войны дворец Шарлоттенбург пострадал настолько сильно, что городские власти решили взорвать руины: при катастрофической нехватке средств в послевоенной Германии отреставрировать здание казалось невозможным. Однако Маргарет Кюн, тогдашний директор Шарлоттенбурга, добилась отмены этого решения, причем довольно эксцентричным способом. Она съехала со своей квартиры и переселилась во дворец — точнее, в то, что от него осталось. На следующий день все газеты вышли с фотографией Маргарет в кровати среди развалин — и здание в конце концов решили не трогать.

Первоначально дворец носил название Литценбург и был летней резиденцией, но постепенно разросся в массивное сооружение. Главный вход в замок имеет 48-метровый купол, увенчанный позолоченной статуей Фортуны.

В главном крыле дворца Шарлоттенбург располагаются апартаменты Фридриха. Особый интерес представляет зал приёмов — огромное помещение с высокими сводами, нишами и барельефами. В самом конце западного крыла находится фарфоровый зал, содержащий прекрасное собрание китайского фарфора.