El castell de Vilaritg es troba documentat des de l'any 947. Actualment és una masia que conserva la seva estructura de palau fortificat gòtic del s. XIV. L'edifici és de planta quadrangular i consta d'un pati central, les restes de l'antic fossat i portes i finestres renaixentistes. S'hi observen les restes de la muralla reforçada per un talús, el pont sobre l'antic fossat i les restes d'espitlleres i merlets que ens recorden el seu passat. Hi destaca un gran portal adovellat. Al seu costat trobem el veïnat de Vilaritg, un conjunt d'edificis presidits per l'església dedicada a Sant Martí i documentada des del 1151. Encara que la construcció actual, d'una nau amb dues capelles laterals, és en bona part dels segles XVIII i XIX, s'hi conserven bé fragments romànics.