La speleologia è un'attività che a Peja ha iniziato a svilupparsi abbastanza presto e ha un grande bagaglio in tal senso sia nella ricerca speleologica che nella guida di gruppi turistici. Quasi ogni anno a Peja arrivano diverse squadre di speleologi che fanno ricerche nelle grotte di Peja e questo va avanti da anni poiché hanno scoperto grandi grotte che richiedono tempo e una lunga esperienza per essere esplorate. Le due grotte principali e più attraenti della regione occidentale del Kosovo si trovano a Peja e si trovano nei luoghi turistici più attraenti come Gola di Rugova e Drini io Bardhë .
La grotta “Gryka e Madhe”, che si trova nella Gola di Rugova, a 8 km dalla città di Peja, è una mega attrazione costantemente ricercata da esperti di speleologia di tutto il mondo. Questa grotta è stata finora esplorata fino a 16 km di canali e la sua esplorazione è ancora in corso e continuerà per molti anni a venire. Si distingue per le bellezze sbalorditive che vi si trovano come canali e gallerie (stanze) di grandi dimensioni che contengono creazioni naturali con milioni di anni di stalagmiti, stalattiti, ecc. Ciò che rende interessante questa grotta è anche la presenza di acqua al suo interno dove durante la tua spedizione avrai l'opportunità di vedere laghetti, pozze d'acqua, piccole cascate, ecc. Questa grotta è unica e si colloca tra le 10 grotte del mondo perché ha un dislivello di oltre 300 m. Per effettuare la spedizione in questa grotta è necessario essere un gruppo organizzato e avere poca esperienza in attività ricreative.
Mentre l'altra grotta si trova nel villaggio di Radac vicino alla cascata e alla sorgente di Dirn i Bardhë, a 11 km dalla città di Peja. Questa è anche una grotta molto attraente ed è altrimenti conosciuta come la "Bella Addormentata". Questa grotta, dopo piccoli interventi infrastrutturali che sono stati fatti, è riuscita ad aprirsi e ad essere offerta ai visitatori durante tutto l'anno, ma questa grotta serve anche per attività didattiche che vengono organizzate con le scuole, ecc. Anche in questa grotta si trovano varie gallerie in cui si trovano stalagmiti e stalattiti che regalano bellezze incredibili create da anni dalla natura. L'insieme della grotta si compone di tre parti: il canale d'ingresso, la galleria centrale e il canale della vasca. Viene presentata dagli archeologi come una grotta un tempo abitata.
