Schloss Kühlenfels liegt südöstlich von Pottenstein auf einer Anhöhe westlich des landschaftlich reizvollen Klumpertals. Der Ort ist slawischen Ursprungs. Erstmals erwähnt wird das Kühlenfelser Schloss als barbergisches Lehen im Jahr 1348. Die Familie Meticher war die erste ansässige Adelsfamilie; im Jahr 1502 ging Schloss Kühlenfels an Hans und Heinz von Rabenstein über. Nach der Plünderung durch aufständische Bauern im Jahr 1521 brannte das Schloss nieder. 1675/74 erfolgte der Wiederaufbau. Auf die Herren von Guttenberg folgte als letzte adelige Besitzerfamilie die Familie von Trüffel.
Das heutige Erscheinungsbild des Schlossgebäudes ist von der barocken Umbauphase um 1780 geprägt. Die ältesten Bauteile sind neben dem Schlosskeller der im Osten situierte Turm sowie der Fuchsturm. Die ältesten Bauteile gehen wohl auf das 14. JH. zurück. Wirtschaftshof und innerer Schlosshof werden durch Gebäude und die historischen Umfassungsmauern eingegrenzt. Nach Norden zu fällt das Gelände schroff ab. In der Verlängerung einer früheren Sichtachse fällt der Blick zwischen Scheune und kleinem Wohngebäude nach Westen zu auf den „Fuchsturm“. Er und der an das Schlossgebäude angrenzende Westturm sind als einzige von ehemals 4 Türmen erhalten. Im 19. JH. wurde ein großzügiger Landschaftsgarten mi tLindenallee angelegt, der heute nur mehr in Teilen erlebbar ist. Der „Cupido“ ist ein Relikt, das an der Anhöhe im Schlosshof gegenüber dem Schloss neu platziert wurde.
Nach einem Brand um 1970 wurde der gesamte Dachstuhl des Schlosses erneuert.
Im Jahr 1995 erwarb der Unternehmer Roland Belz Schloss Kühlenfels. Er ließ Schloss und Nebengebäude umfangreich sanieren bzw. erweitern und legte den angrenzenden Park neu an. Das neue Torhaus von 1998 steht vmtl. an der Stelle eines abgegangenen Torhauses.
Im inneren Schlosshof schuf der passionierte Reiter und Kutschfahrer Roland Beils eine Umfahrt um zwei alte Lindenbäume. Der Schlosshof mit seinem alten Baumbestand wird seit dem Besitzübergang an Roland Belz regelmäßig für kulturelle Veranstaltungen genutzt. Die aktuelle Eigentümerin Irmgard Belz führt die Tradition fort und öffnete die Räumlichkeiten auch für standesamtliche Trauungen.