El Castell d'Avinyonet data des de la segona meitat del segle XI. Posteriorment, fou convertit en comanda dels cavallers de l'Orde de l'Hospital. Té forma quadrangular i ha estat reformat en diferents ocasions. L'edifici presenta elements de diferents cronologies: la torre quadrada i el tros de muralla que s'hi afegeix corresponen al segle XI; l'edifici proper al mur meridional de l'església, que presenta en la seva part menys alterada un parell de carreus, es creu que conserva restes de construcció dels segles XII-XIII. Altres murs, com el del portal adovellat, construït amb pedres sense treballar, són posteriors, suposadament dels segles XV i XVI. Entre aquesta construcció i el mur meridional de l'església s'obre un portal d'arc de mig punt adovellat, segurament de l'antiga entrada a la fortalesa. Actualment es troba en molt bon estat de conservació i encara és habitat.