Gauja rahvuspargis asub umbes kaks kolmandikku kogu Läti territooriumil asuvatest koobastest. Gauja, Amata ja Brasla jõgede, nagu ka väiksemate jõekeste ning ojade kallastel asuvad kõige tähelepanuväärsemad devoni ajastu petroloogilised paljandid, mis on rahvuspargi üheks suurimaks uhkuseks. Samuti leidub palju liivakivi järsakuid, -kaljusid, -koopaid ning dolomiidipaljandeid. Kõige paremini on näha neid liivakivipaljandeid Gauja jõel paadiga sõites.

Jõe kaldaid kaunistatavest devoni liivakivipaljanditest on atraktiivseimad Zvārte ja Ērglu paljand. Ērglu ehk Kotka paljandi kõrgus ulatub 22 meetrini. Kaljul on palju murenemiskohti, täheldatud on ka mitmete plokkide nihke ja lihke tekkeohte. Siia on rajatud ka matkarada ning vaateplatvorm. Gauja kõrgeim liivakivipaljand on aga hoopis Cēsise ja Lîgatne vahelisel jõelõigul asuv Kûku paljand, mille kõrgus ulatub 43 meetrini.

Vaata videot: