La ermita, que se encuentra en la plaza elevada que lleva su nombre, y a la que se accede a través de una escalinata, fue construida por el alférez don Matías Antonio Sopranis un poco antes de 1750, según se puede deducir de la documentación histórica que hace referencia a testamento y fundación de capellanía para el lugar. La zona en la que se levantó era conocida como malpaís y se encontraba por entonces en las afueras del conjunto urbano, en un paraje en el que apenas había construcciones. El templo se construyó bajo la advocación de Ntra. Sra. de los Afligidos, y albergaba una talla barroca de la Virgen, de escuela sevillana, pero esta desapareció tras un incendio que asoló la ermita, tras el que hubo de ser reconstruida a principios del siglo XIX, ostentando su patronato por aquel entonces la familia Cáceres. En el año 2006 fue declarada Bien de Interés Cultural.

La ermita es una sencilla construcción, que corresponde a la modificación efectuada tras el incendio. Parte de su valor arquitectónico se ha perdido debido a estas obras. Hoy, su fachada contiene un gran arco de medio punto de piedra de acceso al interior, cerrado con puertas acristaladas, y un remate mixtilíneo en el frontón, tras el que se adivina la cubierta a dos aguas que cubre el espacio. Una sencilla espadaña con doble arco para albergar campanas y remate con otra campana de menor tamaño se eleva en el lado derecho como único elemento a destacar; a la derecha, un muro sirve de lienzo a un sencillo calvario con tres cruces de madera.
Esta sencillez constructiva se refleja igualmente al interior. La ermita consta de una sola nave cubierta por un artesonado de madera de par y nudillo de tradición mudéjar, cuyo almizate (pieza central) se cubre con decoración de molduras geométricas entrelazadas. El pavimento es de losa de piedra.

La imagen del Cristo hoy conocido como Cristo del Calvario, en su origen se denominaba Cristo Rescatado, y no siempre se ha venerado en esta capilla, cuya advocación era de la Virgen de los Afligidos hasta el incendio de 1815, que hizo desaparecer la imagen de su titular. Originalmente ocupaba el nicho central del retablo de la capilla de los Dolores, en la iglesia de San Marcos. Esta imagen es uno de los cristos de origen cubano que fueron enviados a distintos templos de Icod. En concreto este Cristo se envió desde la Habana por Marcos Francisco Padrón en 1730, y se veneró en San Marcos hasta el año 1870, en que fue trasladado a la ermita del Calvario. Es una imagen barroca que representa a Jesucristo crucificado en el momento de su muerte, de gran devoción popular en el municipio. El Cristo se encuentra en una cruz de plata con la que procesiona el día grande de sus fiestas, mientras que en Semana Santa procesiona en una humilde cruz penitencial, propiedad de su Cofradía, quienes custodian y cuidan la Santa Imagen. Su fiesta es junto con la de San Marcos, la más importante de las celebradas en Icod. Tiene lugar el último domingo de septiembre. La imagen es trasladada los días previos desde la ermita hasta la iglesia parroquial de San Marcos, y el último domingo del mes regresa en procesión de nuevo hasta la ermita. En su trayecto pasa por arcos triunfales, con símbolos florales, cortinajes, banderas, farolillos y templetes que embellecen el recorrido. Tradicionalmente se celebraban veladas literarias y juegos florales, que eran concursos de poesía, y que en la actualidad se mantiene en la celebración de premios literarios.