Предложения о создании в Баку ботанического сада впервые были выдвинуты еще в 30-х годах прошлого столетия. В те годы Баку, как крупный промышленный центр и столица республики нуждался в благоустройстве и озеленении. Поскольку Ботанический сад является научным учреждением, ещë в 1932 году при секторе ботаники Азербайджанского отделения Кафказского филиала АН СССР под руководством П.В.Ковальской-Ильиной была создана секция озеленения, в которой проводились работы по выращиванию растений в закрытом и открытом грунте. В июле 1934 года на специально отведенной территории в нагорной части г.Баку был заложен фундамент Института Ботаники и Ботанического сада.
В 1935-1938-гг. здесь было начато строительство здания Института, оранжерей, теплиц, жилых помещений для работников сада, мастерских, хозяйственных строений.
С момента создания в 1936 г. Ботанический сад являлся отделом Института ботаники вплоть до выделения его в самостоятельную организацию в 2000 г. Первым директором Института ботаники был выдающийся исследователь флоры Кавказа академик Александр Альфонсович Гроссгейм. Первым директором Ботанического сада назначается Михаил Васильевич Бржезицкий. Начиная с этого времени на участках сада наряду с созданием коллекций растений из флоры Азербайджана, а также экзотических, технических, лекарственных видов растений проводятся научно-исследовательские работы. В 1937-1940 гг. в связи с использованием отведенной территории для добычи нефти площадь сада ограничивалась 16 га.
В трудные военные годы (1941-1945 гг.), несмотря на приостановление строительных и замедление интродукционных работ, здесь продолжались научно-исследовательские работы по изучению травянистых, древесно-кустарниковых видов растений из местной флоры. В 1948-1952 гг. Ботаническим садом руководили к.б.н. Гаджиев Ахмед Шербет оглы, затем к.б.н. сада Рагимов Мухтар Али оглы. В эти годы с целью расширения территории сада был отведен новый садовый участок на Ахмедлинском плато и начаты озеленительные работы. Однако в 1954 году этот садовый участок был отобран, и основные работы продолжались на территории Ботанического сада.
В 1952 году директором Ботанического сада был назначен д.б.н. Ахундов Касум Фаррух оглы. Затем в 1956 г. – д.б.н. Гаджиев Вагид Джалал оглы. Одновременно здесь развернулись большие посадочные работы.
С июня 1957 года директором сада назначается выпускник Ленинградской Академии Лесной Инженерии, преподаватель Азербайджанского Сельскохозяйственного Института к.б.н. Агамиров Узеир Мусаевич. Отсутствие поливной воды в 1950-1960 гг. препятствовало проведению интродукционных работ. Строительство в 1960 году Джейранбатанского водохранилища и обеспечение поливной водой способствовало значительному расширению Ботанического сада. В этот период к имеющимся 16 гектарам сада был присоединен участок в 25 гектаров, что привело к увеличению территории до 41 га.
1960-1978 гг. являются периодом расцвета сада. В эти годы Ботаническим садом для озеленения Баку, Сумгаита, Гянджи и Нахчиванской АР, а также Зеленному Хозяйству г.Баку и промышленным предприятиям Абшерона (Бакинский завод бытовых кондиционеров, Азербэлектротерм, Радио- и Судо-ремонтный завод), а также школам и детским садам были выделено более 10 тысяч древесно-кустарниковых и цветочных растений (около 100 видов). Таким образом Ботанический сад развивался благодаря усилиям плеяды ботаников, таких как М.Бржезицкий, И.Сафаров, М.Микаилов, Р.Рагимова, А.Алиев, С.Питьяев, У Агамиров, М.Агамирова, М.Рагимов, К.Кулиев, А.Масиев, Т.Казимова, И.Голниева, Ш.Бабаев, Р.Бабабев, Дж.Мирзалиев, А.Искендеров, Н.Бабаев, А.Байрамов, О.Ибадлы, М.Курбанов, сыгравших большую роль в истории Ботанического сада. Начиная с 1970 года государственные мероприятия по озеленению Апшерона и Баку послужили еще большему расширению работ по интродукции древесно-кустарниковых растений в Ботаническом саду. Именно в эти годы на расширенной территории сада были заложены участки по принципу ботанико-географического районирования. В 1977 году под руководством академика Гасана Алиева была создана специальная комиссия, которой совместно с Трестом Зеленого Хозяйства г. Баку, учеными Национальной Академии Наук и представителями Бакинского Городского Совета были подготовлены мероприятия по развитию сада.
Эти мероприятия были представлены со стороны Академии Наук Совету Министров и согласно постановлению Совета Министров вопрос обустройства Сада был передан Тресту Благоустройства г.Баку. В связи с этим в 1978-1980 гг. обустройству Ботанического Сада был дан новый импульс. В конце 1980 года директором Ботанического Сада был назначен д.б.н. Ариф Али оглы Байрамов. В эти годы по Постановлению Совета Министров Бакинским Советом были начаты работы по благоустройству сада, но, они к сожалению, проводились медленно, а позже благоустройство аллей и площадки перед зданием вовсе приостановилось. В конце 80-х- начале 90-х годов строительство в саду крупных объектов, бассейнов и пр. приостановилось. Из-за нехватки в летнее время поливной воды, оставшихся без тепла в зимнее время оранжерей, нехватки рабочей силы была утеряна часть живой коллекции, среди которой были такие виды растений, как георгины, хризантемы, гладиолусы, пионы, а также ряд ценных древесных, цветочных, луговых и оранжерейных растений.
На основании Постановления Президиума Академии Наук Азербайджана «Об улучшении деятельности Ботанического Сада» за № 7/2, от 4 февраля 2000 года Ботанический Сад был выведен из структуры Института Ботаники и продолжал свою деятельность как самостоятельная научно-исследовательская организация при Отделении Биологических Наук Академии Наук Азербайджана. На основании Постановления Президиума Академии Наук Азербайджана за № 22/9 от 22 ноября 2000 года Ботанический Сад был переименован в «Центральный Ботанический Сад НАН Азербайджана». Были утверждены Устав, Ученый Совет и научная структура Сада. В состав нового Ученого Совета помимо сотрудников Ботанического сада были введены также ученые из других научных учреждений и организаций. Научно-исследовательские работы в Ботаническом Саду проводятся в направлении «Изучение биоразнообразия, принципы и пути их сохранения, эффективное использование в Азербайджане» в рамках проблемы «Охрана генофонда и интродукция видов растений из флоры Азербайджана».