하지만 초기의 그 견고한 성벽들은 시간이 흐르면서 느슨해졌다. 때로는 외부세력에 의해 밖에서 허물기도 했지만 또 안에서 스스로 헤집고 나오지 않으면 안 될 경우도 많았다. 일제에 의해 도심성벽이 일부 철거되면서 도로부지가 되었고, 이후 난리통에 성돌들은 여염집 축대로 혹은 장독대로 헐려 나갔다. 이제 다시 문화시대가 열리면서 복원을 외치고 발굴도 하며 없어진 성문도 만들고 성벽도 다시 쌓고 있다.

한양도성이 처음 만들어질 때 성 안과 밖을 차별하는 대표적인 사건이 인왕산 선바위[禪岩]다. 불교도시인 개경에서 유교도시를 지향하는 한양으로 천도하면서 국교가 바뀐 것을 보여주는 대표적 사례이기도 하다. 이 바위는 장삼을 입은 승려의 형상을 하고 있는 까닭에 알게 모르게 인근 주민들에게 성상(聖像)으로서 대접을 받아왔다. 태조가 도성을 쌓을 때 왕사인 무학 대사와 개국공신 정도전이 이 ‘자연산 바위’를 놓고 ‘성 안에 두느냐? 밖에 두느냐?’를 놓고서 첨예한 의견대립을 보였다. 결국 지는 해는 떠오르는 실세에게 밀렸고 선암 역시 성 밖으로 밀려났다.

이에 무학 대사는 크게 한 숨을 쉬며 “이제 스님네들은 선비의 책보따리나 짊어지고 다니는 신세가 되겠구나.” 하고 장탄식을 했다고 한다. 하지만 무학 대사의 걱정은 이후 ‘가방모찌’ 정도로 그치지 않았다. 그 성을 지키고 수리 보수하는 짐까지 떠안아야 했다. 현재 남아있는 북한산의 절들은 대개 이런 역할을 했다. 더불어 승려는 도성 출입조차 못하게 되었다. 그렇게 몇 백년이 흘렀다.

구한말 한반도가 열강의 각축장이 되면서 일본 일연종의 사노젠레이(佐野前勵) 스님이 승려의 도성 출입을 허락해 달라는 건의문을 조정에 올렸다. 그 결과 1895년 4월 출입금지령이 해제되었다. 성 밖의 힘에 의해 성 안의 문이 열린 것이다. 그와 더불어 시간이 지나면서 도심의 성곽들은 여러 가지 이유로 헐려나갔다. 이제 성 안팎의 경계마저 모호해졌다. 그 무렵 선바위 근처에는 남산에 있던 국사당이 이사를 왔다. 일본신사(神社)를 만들면서 헐린 까닭이다. 이후 토속불교와 망명해온 민간신앙이 함께 어우러져 독특한 불이(不二)공간을 만들었다. 이곳은 예로부터 아이를 원하는 사람에게 영험있는 기도처로 알려져 있다. 현재도 많은 사람들이 찾는 서울 인근의 유명성지이기도 하다.

조선이 기울어가면서 성 안 세력의 무기력증과 성 밖 세력의 팽창으로 인하여 도심의 성은 스스로 조금씩 조금씩 자기를 해체해 갔다. 더불어 성문들도 이름만 남기고 하나둘씩 없어져갔다. 급기야 대표 성문인 남대문까지 얼마 전에 스스로 산화해버렸다. 성 안과 밖의 경계가 아예 필요 없어진 까닭에 그 존재감이 스스로 의심스러운 탓이었을 것이다.