Park Oliwski od swego początku był świadkiem wydarzeń mających kluczowe znaczenie nie tylko dla pobliskiego klasztoru Cystersów lecz i również dla całego regionu. Będąc jedynie przyklasztornym ogrodem, żywił goszczonych w klasztorze dostojników, był świadkiem najazdu husytów i ich rabunków, dwukrotnego spalenia i splądrowania przez Szwedów. Od XV w. po wybudowaniu rezydencji opata klasztoru stał się jego wizytówką – zaproszenie do niego przez opata było wyrazem uszanowania statusu społecznego i prestiżu gościa.
Kształt parku, który znamy dziś, jest zasługą przede wszystkim XVIII w. ogrodników dworskich - Kazimierza Dębińskiego (zatrudnionego przez opata Jacka Rybińskiego) oraz Jana Saltzmanna (pracującego dla opata Karola Hohenzollern-Hechingen). To właśnie w tym okresie w ogrodzie przy rezydencji opata Franciszka Zaleskiego król August III Sas wydał nawet imieninową ucztę na cześć swojej protektorki carycy Anny Iwanownej, co świadczy o prestiżu tego miejsca.
Zawód ogrodnika dworskiego lub królewskiego wymagał nie tylko znajomości botaniki, było to zajęcie łączące wiedzę o architekturze, ogrodnik musiał także wykazywać znajomością krajobrazu innych często dalekich krajów, w szczególności bardzo popularnej w XVIII-XIX w. tematyki orientu. Kazimierz Dębiński na zlecenie opata oliwskiego - Jacka Rybińskiego zatrudnił ogrodnika Hentschla, czerpiącego inspiracje z założeń ogrodowych André Le Nôtre. Powstała wtedy barokowa część parku, dziś nazywana częścią francuską. z parterami kwiatowo-trawnikowymi z dużym stawem, aleja Lipową, oraz szpalerem tworzącym tzw. Książęcy Widok, który niejednokrotnie zapierał dech w piersi wśród gości opata - optycznie staw łączył się z wodami odległej o kilka kilometrów Zatoki Gdańskiej, tworząc złudzenie otwartego wyjścia w morze.
Król pruski Karol Hohenzollern-Hechingen. w latach 80. XVIII wieku sprowadził do Oliwy Jerzego Saltzmana, syna Zachariasza, tego, który projektował słynne ogrody w Saint Sousi w Poczdamie. Saltzmann zgodnie z ówczesną modą starał się imitować naturę w oparciu o popularne w tych czasach wyobrażenia o chińskich ogrodach. W północnej części parku, stworzone zostały kręte ścieżki i zbiorniki wodne naśladujące dziką przyrodę. Powstało sporo altan, pawilonów, "świątyń" i innych urządzeń parkowych, których przedstawienia znamy z zachowanego planu parku z 1792 roku, sygnowanego herbem Hohenzollernów. Przy bardzo wijących się ścieżkach, chińskie bożki wykrzywiały się w uśmiechach do spacerujących gości. Podstawowym zadaniem, było zadziwianie widza, stąd często, w ogrodach tego typu roiło się od zwierząt – małp, wiewiórek, papug, a nawet lwów, tygrysów czy wielbłądów. W ogrodach we Francji, były to zwierzęta żywe, zaś w ogrodzie oliwskim, wykonane z drewna. Pozostałością po tamtych ozdobach są dwa sztuczne pagórki po północnej stronie parku czy kaskada na Potoku Oliwskim, która najprawdopodobniej powstała w miejscu, istniejącego tutaj do XVI wieku, dawnego młyna.
Po sekularyzacji klasztoru i śmierci ostatniego opata oliwskiego Józefa Hohenzollern-Hechingen w 1836 r. park przeszedł na własność państwa pruskiego, wówczas inspektor parku Gustaw Schöndorf. Zarządził, by park nabrał charakteru otwartego dla publiczności – jako ogród dendrologiczno-krajobrazowy. Park będąc otwartym do zwiedzania był atrakcyjnym miejscem dla zamieszkujących licznie pobliskie dwory kupców, przedsiębiorców i wysoko sytuowanych obywateli miasta.
Najbliższe posiadłości oliwskie były siedzibami towarzystw oraz znamienitych przedsiębiorców, ogród stał się dla nich miejscem relaksu, dyskusji, a nawet zawierania interesów.Odwiedzali go m.in: Heinrich Floris Schopenhauer, ojciec filozofa Arthura Schopenhauera, wykształcony i zamożny kupiec z Gdańska. Jego żona Johanna Henrietta w swoim pamiętniku zapisała jakie wrażenie na wizytujących wywierał ogród oliwski; Burmistrz gdański Joaochim Wilhelm von Weickman, zamieszkujący w jednym z dworów oliwskich. Oprowadzano po parku znamienitych gości związanych z elitami politycznymi, Jan Ursyn Niemcewicz opisał swe wrażenia ze spaceru po Oliwie:
"Mimo ruin, tak długich i ciężkich oblężeń piękne są jeszcze i żyzne okolice Gdańska. Pozostała pyszna lipowa ulica do opactwa Oliwy wiodąca; i tam kupcy mają ogrody swoje. (…) Cała przyjemność opata jest w wesołym mieszkaniu, pięknym ogrodzie z widokiem na morze i pięknym równie zwierzyńcu. (...) Ogród rozporządzonym jest w angielskim sposobie, z pięknymi zachowanymi na morze widokami. Z zadziwieniem widziałem w klimacie tutejszym liburnum i inne delikatne krzewy w ogrodzie i piękne buki w zwierzyńcu Karlsberg rosnące. Widok ze zbudowanej na górze tej altany jest zachwycający.”
Dzisiaj mieszkańcy Oliwy tak dumni ze swojego ogrodu i atmosfery dzielnicy z wielką przeszłością, świadomi są jak istotne jest zachowanie tych świadectw dla następnych pokoleń. Przez kilka lat naszego życia, naszych historii, jego wielka przeszłość przeplotła się z naszymi wspomnieniami tworząc w tym miejscu poczucie wspólnoty tak silne, jak w żadnym innym miejscu w Gdańsku.
