北京胡同的形成是随着北京城的形成而变化、发展、演进的。公元前1045年，北京是奴隶制的古燕国的都城，叫蓟城，当时的城墙是用夯土筑成的。到了战国时期，《周礼·考工记》记载：“匠人营国，方九里，旁三门，国中九经九纬，经涂九轨，左祖右社，面朝后市。”这就是胡同的雏形。

以后的两千多年间，从秦、汉开始，无论是三国、两晋、南北朝，还是隋、唐、五代和宋朝，这块地界儿一直都是北方的重镇。

公元10世纪初，辽朝建立，把这儿当成了陪都，改称南京，又称燕京。公元12世纪，金朝建立，在此建都，称为中都，中都城里出现了坊、街、道、巷，这些可算作是“胡同”的最早雏形。