Les Romains connaissaient déjà ce village, qui doit son nom à la présence d'un temple dédié à la déesse de la beauté. La particularité des maisons qui font face au port est leur forme haute et étroite, les façades sont peintes dans des couleurs très vives (surtout rouge et jaune) ; presque toutes sont romanes bien que, vers l'extrémité ouest du village, il y en ait de plus anciennes, avec des arcs en ogive, de type toscan.
Les habitations ont généralement deux entrées, l'une vers la plage, pour les bateaux, et l'autre donnant sur la route, le carruggio, qui est parallèle à la côte, mais à une altitude plus élevée. Leur structure typique comporte trois pièces à chaque étage, dont la pièce centrale n'a pas de fenêtre. Les constructions sont également adossées les unes aux autres pour des raisons défensives.
À l'intérieur du village, il n'y a pas de rues transversales, mais seulement quelques sous-portiques appelés "chapitres" qui, par des marches raides, relient la rue au port ou à la plage. À l'extrême pointe ouest du village se trouve l'église de S. Pietro, une construction romano-gothique de type ligure bâtie sur les vestiges de l'ancien temple de Vénus. De là, on jouit d'un panorama splendide ; de la loggia romane, on aperçoit le premier tronçon de côte vers les Cinque Terre, tandis que de l'entrée, on domine le golfe et l'île d'en face.
Un autre élément évocateur de cet ancien village est la "Grotta di Byron", creusée dans la roche accidentée de la côte menant aux Cinque Terre, et dédiée au poète anglais Byron (XIXe siècle), qui s'en inspira pour ses œuvres littéraires, bien qu'il ne l'ait jamais visitée en réalité. Le nom original de la grotte était "Grotta dell'Arpaia". La fête la plus importante de Portovenere est celle de la "Madonna Bianca", le 17 août. Le parchemin du XIVe siècle représentant la Vierge à l'Enfant entre saint Antoine et saint Christophe est arrivé à Portovenere, selon la tradition, en 1204, en même temps que d'autres reliques sacrées transportées.