住宅は、敷地中央に江戸時代初期の様相を残す主屋、その西側に『棲鶴楼』と呼ばれる奥座敷を備えています。

主屋は、桁行12間、梁行５間半あり、建築当時に使われた大黒柱・庭大黒柱などが数本残っており、その他については調査に基づき復元整備しました。

奥座敷の棲鶴楼は、数寄屋風書院造りの建物で桁行４間、梁行５間あり、現在の建物は、１８３５年（天保６年）の改築です。

庭園は、江戸時代初期の枯池式枯山水で、棲鶴楼の鶴に対して亀石組を組んで鶴亀とし、西側に大滝、南側に小滝を造り、南面に蓬莱山を構成した不死・不老の祝儀思想にもとづく作庭となっています。

また、主庭の東隅にあるかやの木は、幹周が約５メートルで樹齢約５００年と推定されています。４月から５月にかけて花が咲き、秋には２センチメートルから４センチメートルほどの紫褐色の実がなります。昭和５１年に「日下のかや」として市の天然記念物に指定しています。