Постройкой в 1562 году Христорождественского собора начинается каменное строительство в Каргополе. С этого времени складывается белокаменный облик города. В 1678-1680 годах возводится церковь Рождества богородицы, в 1682-1692 годах — Благовещенская церковь, составившие, вместе с окружающими постройками, единый архитектурный ансамбль Новой Торговой площади, сохранившийся до наших дней.

От древних времен сохранились в городе остатки земляного вала, на котором до начала 18 века стояли деревянные стены с девятью рублеными башнями, крытыми шатрами. В 1612-1614 годах эта крепость выдержала несколько осад польских интервентов и разбойничьих отрядов. С началом петровских преобразований и переносом центра активной жизни на Балтику Каргополь, потеряв свое экономическое значение, приходит постепенно в упадок.

В 1776 году Каргополь стал уездным городом Олонецкой губернии. Из-за того, что Северная железная дорога прошла в 90 км к востоку от города, промышленность здесь не развивалась. Жители Каргополя и его окрестностей продолжали заниматься традиционными промыслами, среди которых особое место принадлежит гончарству (каргопольская игрушка). В 1967 году в Каргополе открылось отделение предприятия «Беломорские узоры».

В городе работает школа искусств, где детей учат и лепке игрушек.