W czasach księstwa galicyjsko-wołyńskiego niedaleko współczesnej Ołyki znajdowało się ufortyfikowane miasto Chemerin, które posiadało własną placówkę handlową. Z biegiem czasu życie z Chemerin stopniowo przenosiło się do tej osady, dając początek nowej osadzie. Nowo powstałe miasto otrzymało nazwę Ołyka od płynącej nieopodal rzeki. Pierwszym właścicielem Ołyki w 1433 r. był Lenko Zarubich. W kolejnych latach Ołyka kilkakrotnie zmieniała właścicieli, aż w 1547 roku właścicielem został Jan Radziwiłł Czerny. Otrzymał od cesarza Karola V dziedziczny tytuł „księcia nad Olyką i Nieświeżem”, zatwierdzony w 1549 r. przez króla Zygmunta Augusta. Tak więc Olyka aż na 400 lat stała się rodzinnym gniazdem Radziwiłłów. To właśnie Radziwiłłowie wznieśli tu w 1558 r. zamek, który częściowo zachował się do dziś. Zespół zamkowy był na planie kwadratu i posiadał cztery narożne baszty z wieżami strażniczymi. Pozostałości dwóch z tych bastionów wciąż można zobaczyć za drzewami w pobliżu fos. W pierwszej połowie XVIII wieku po wielokrotnych zniszczeniach zamek odbudowano i na jego terenie wzniesiono pałac. Z dokumentów historycznych wynika, że ​​główną bramę pałacu zdobiły „wskaźniki do kompasów astronomicznych oraz figury Matki Boskiej i św. Michała z żelaznymi skrzydłami”.
Obok zamku, według projektu słynnych architektów Benedetto Molli i Giovanniego Maliverny, wybudowano majestatyczny Kościół Świętej Trójcy, który przetrwał do dziś. Wejście do miasta ozdobiono Bramą Łucką, która do dziś wita mieszkańców i gości Ołyki. Po przyłączeniu Ołyki do Imperium Rosyjskiego w 1793 r. życie w mieście zaczęło słabnąć. Powodem tego były wielkie pożary w latach 1803 i 1823 oraz wojna 1812 roku. Następnie majątek zamieniono na szpital wojskowy, który działał do 1837 roku. A dziś w dawnym rodzinnym gnieździe Radziwiłłów znajduje się placówka medyczna - Wołyński Szpital Psychiatryczny. W ciągu dnia można swobodnie wejść na jego teren i obejrzeć dawną świetność pałacu. Ostatnim z rodziny Radziwiłłów mieszkających w Ołyce był Janusz Radziwiłł, aresztowany w 1939 r. przez NKWD, po wejściu Zachodniej Ukrainy do ZSRR.