Zámek nechal v letech 1676 – 1690 postavit František Karel Libštejnský z Kolovrat. V letech 1712 – 1724 byl Norbertem Leopoldem Libštejnským z Kolovrat přestavěn. Kolovratové zastávali velmi významné státní funkce. Po druhé světové válce byl zámek Kolovratům odebrán státem. Na sklonku 20. st. jim byl v restituci opět navrácen.
V Rychnovském zámku je veřejnosti přístupná zámecká obrazárna, kde naleznete skvosty českého a světového malířství od poloviny 15. století. Zastoupena je i sbírka střelných zbraní z 18. století, vše doplněno původním stylovým nábytkem rodu Kolowratů.
Návštěvníci si mohou na zámku prohlédnout interiéry s pozoruhodnou Kolowratskou sbírkou obrazů zastoupenou převážně barokními díly ze 17. a 18. století. Vhodně ji doplňuje sbírka Orlické galerie, umístěná také na zámku, která obsahuje díla významných českých malířů 19. a 20. století. Na zámku je také jedinečná ornitologická sbírka Okresního muzea Orlických hor a sochařská sbírka Karla Hladíka.
V blízkosti kostela Nejvyšší Trojice ze 17. století stojí zvonice se zvonem Kryštofem, který je 3. největší v Čechách (po Zikmundu na svatovítské věži v Praze a Augustinu na Bílé věži v Hradci Králové). Na zámku se také každoročně koná divadelní a hudební festival Poláčkovo léto.
Otevírací doba:duben: sobota, neděle, svátky 900 – 1200, 1300 – 1600
květen – srpen: denně kromě pondělí 800 – 1200, 1300 – 1700
září: denně kromě pondělí 800 – 1200, 1300 – 1600
říjen: sobota, neděle, svátky 900 – 1200, 1300 – 1600
Jindy pouze po předchozí dohodě.
