“监狱”一开始并不叫监狱。夏朝叫“夏台”，是中央监狱的名称，一般叫“宫”。商朝监狱叫“蚞里”，还叫“圉”，是甲骨文中出现的一个字，意思就是“狱”。周朝时也叫“圜土”或者“囹圄”。周朝的监狱圜土中关押的犯人，要在监督下进行劳动，如果能改过自新，重罪三年后释放，中罪两年后释放，轻罪一年释放。但是释放后三年内不能当作平民对待。
到了春秋战国，监狱的规模已经扩大了很多，监狱名称也有了变化，叫“圄”。到秦朝时，因为法律严酷，犯罪的人增多，所以监狱也比以前增加许多，除了中央监狱即廷尉狱外，还有各个官府自行设置的监狱。此时的监狱还有很多其他的名字，如内宫、居室、保宫和请室等。地方上的郡县也都有自己的监狱，当时全国共有两千多所监狱。同时，为了适应需要，秦朝的《囚律》中有了监狱管理方面的详细规定。
监狱从汉朝开始称为“狱”，汉朝的监狱更多更滥。据《汉书·刑法志》等记载，汉代全国共有二千余所监狱，仅京城长安就有监狱二十几种。汉代著名的酷吏尹赏任长安县令时，曾在监狱里修造了名为“虎穴”的地牢，即挖地数丈深，四面砌墙，用大石板盖在出口。他曾命长安县里的乡吏及邻里检举地方的恶霸无赖，然后将这些人统统抓起来，以百人为一批，依次关进虎穴中，用大石板盖住。几日后再打开，里面的人都死在了一起。
自东汉以后，改变了监狱名目繁多的状况，实行地方州县各置监狱，京城洛阳只设廷尉狱及洛阳狱二所。这种监狱体制也为后世所继承。南北朝时的监狱体制基本上继承了汉朝体制，但北朝除了监狱外，还挖地为狱，发明了“地牢”。
隋唐以大理寺为中央司法机关，设大理狱；宋朝各州都设置了类似周朝的圜土的狱，犯人白天劳役，晚上监禁。同时，宋朝法律还对监狱管理制度做了严格规定，但各地方衙门大多我行我素。当时曾有“门留”和“寄收”的做法，这本是一种临时拘留的措施，但衙门官吏常常将那些无辜的证人及有关人员一概收禁，并借机向他们敲诈勒索。不满足这些官吏的要求便不予释放，以至于监狱里常常人满为患。还有一种名为“拘锁”的监禁措施，本来是一种短期监禁，但常常成为地方衙门任意残害犯人的手段。
明清以刑部为中央司法机关，改设刑部监狱，同时对监狱的管理也做了明确规定。明朝以后，又称监狱为“监”。清朝将明律沿袭下来，监狱的职能为“以圜土聚教罢民”，“任之以事，而改教之”，即对犯罪的事实要进行核实，对犯人要教育，使之改正。再后来，才将“监”和“狱”合并为一体，统一称为监狱。
中国的监狱到底产生于何时？又是谁发明的呢？据唐朝解释法律的重要著作《唐律疏议》记载：“皋陶造狱。”传说皋陶是四千年前舜帝时的人物，曾被任命为刑法官。人们历来将他视为监狱的始创者和开山鼻祖。在古代监狱中，都挂有皋陶的画像，不仅狱卒要像敬神拜祖一样敬奉跪拜他，连被囚禁关押的犯人也如敬拜神明似地对他行三叩九拜大礼。传说他青脸鸟嘴，铁面无私，有一只独角羊（獬，也就是独角兽），能知道谁是有罪的人。皋陶审理案件时，遇到疑难，就牵来这只神羊，神羊只触有罪的人。
追溯监狱的雏形，应当说是来自远古时代原始人驯养野兽的穽槛或者岩穴，到氏族社会后，用来关押俘虏，强制他们投降归顺，驱使他们劳动。国家产生之后，此设施日趋完善，终于发展成为统治阶级专政的暴力工具，监狱也就产生了。
当然，古代监狱里黑暗无比。如西汉初年，叱咤风云的英雄周勃，不仅在汉王朝建立过程中浴血疆场，立下汗马功劳，还在刘邦死后吕氏家族图谋篡夺刘氏江山的紧要关头，力挽狂澜，调动军队平定了叛乱，迎立了汉文帝。周勃也因功勋卓著，先后被任命为太尉、丞相，并封为绛侯，食邑万户，长子周胜之还娶了文帝女儿为妻，可以说是位极人臣了。然而，后来因有人告他谋反，被关进了长安监狱。入狱后，周勃惊恐之下，竟然不知所措。而狱卒并没有因为他身为诸侯而予以优待，相反，像对待一般囚犯一样，对他百般凌辱、虐待。周勃无奈，只得以千金向狱吏行贿。狱吏得了钱，立即改变了态度，还教周勃让儿媳妇去向文帝说情。本来汉文帝对周勃谋反一事就没有什么切实的证据，只不过想挫挫这班老臣的威势，现在女儿来说情，母亲薄太后也说周勃不可能谋反，便顺水推舟，不但释放了周勃，还恢复了他的爵位封号。周勃出狱后，感叹道：“我曾经统帅百万大军，自以为尊贵无比，位极人臣，哪里知道一个小小的狱吏竟然也如此尊贵！”
周勃的话，虽然夹了点牢骚，但说的却是实情。不论你官多大，位多尊，只要进了监狱，那就是狱吏牢子的鱼肉，命运操纵在他们的手里，只能任其摆布了。关于这一点，西汉时的韩安国与狱吏曾有过一段很有意思的对话，这就是人们很熟悉的“死灰复燃”典故。韩安国原是梁孝王的侍从，因犯罪入狱，遭到了狱吏的百般凌辱。韩安国对他说，你难道不怕死灰复燃吗？狱吏回答说，燃起来就用小便浇灭它。在这里，韩安国用“死灰复燃”警告狱吏自己仍有可能重新得势，要狱吏不要过分虐待自己；而狱吏用小便浇灭复燃的死灰，向韩安国说明，只要在他们这班狱吏手里，就得由他们摆布，不会让你有死灰复燃的机会。有意思的是，韩安国后来果然“死灰复燃”了，不仅被释放出狱，还被任命为主管梁国行政事务的内史。韩安国找来那个曾经虐待他的狱吏，不仅没有处罚，反而大加赞赏，予以重用。
再如，西汉时名将周亚夫，其功名、地位与他的父亲周勃相似，但也遭到与周勃同样的命运。周亚夫平定吴楚七国之乱，因功官拜太尉、丞相，显赫无比。后来却因购买陪葬用的兵器，被人告发谋反，被逮下狱。在审讯时，周亚夫申辩说，这些兵器都是葬器，可审讯他的廷尉却硬说他即使不在“地上”（生前）造反，也要在“地下”（死后）造反，并且还授意狱吏对他百般凌辱。周亚夫忍受不了这种无理陷害和虐待，愤然绝食抗议，结果五天之后，呕血而死。
狱卒凌虐囚犯，无非是向囚犯敲诈勒索。五代时眉州刺史申贵，曾公开指着监狱的大门说，这是我家的钱穴。宋代的监狱官吏也公开受贿索贿，如果囚犯不给钱，就让他们睡在潮湿的地方，还不给他们饭吃。遇到那些没有钱的囚犯，干脆把他们像猪狗一样对待。囚犯生病后不医治，也不报告，直到病重甚至死后才报告上司。
囚犯要想免遭狱吏们的凌虐，只有“破财消灾”这一条路。周勃出将入相，尊贵无比，但在狱吏的威逼面前，也只好乖乖送上黄金千两。狱吏们得不到钱时，可以把囚犯打入地狱；一旦得到钱，马上就换一副面孔。在这一方面，《水浒传》里沧州牢城里的差拨，可算得上是一个典型。林冲发配到沧州牢城后，差拨不见他把钱交出来，便破口大骂，什么“贼配军，满脸都是饿纹，一世也不发迹，打不死、拷不杀的顽囚”等；等林冲送上银两之后，却马上变了口气，恭维林冲是“好男子，久后必然发迹”，“必不是等闲之人，久后必做大官”。林冲身为八十万禁军教头，也算有身份和名气了，但不拿出钱行贿，照样受到狱吏的痛骂；那些无财无势的平民百姓，落在他们手里，其境遇也就可想而知了。