北周高帝时，法令严苛，并制定《刑经圣制》。当时，杨坚就觉得这部法典残酷混乱，造成的结果是“内外恐怖，人不自安”，就向宣帝提出“法令滋章，非兴化之道”，但没有被宣帝采纳。
隋朝成立后，隋文帝马上命令：“尚书左仆射、渤海公高颎，上柱国、沛公郑译，上柱国、清河郡公杨素，大理前少卿、平源县公常明，刑部侍郎、保城县公韩潜，比部侍郎李谔，兼考功侍郎柳雄亮等，更定新律。”并择其善者而从之，制定《开皇律》。参加编撰《开皇律》的人员还有于翼、李德林、裴政、苏威、赵芬、王谊和元谐等七人，通前计十四人。在这十四人中，高颎、李德林、苏威、郑译和裴政为主要编撰者。《隋书·裴政传》记载；“裴）政采魏、晋刑典，下至齐、粱，沿革轻重，取其折衷。同撰著者十有余人，凡疑滞不通，皆取决于政。”由此可知，《开皇律》兼收博采南北各代法律之优点，以河清三年（564年）定的北齐律为样本拣选淘汰而成。
《开皇律》有十二篇，篇各一卷，分别为；1、名例，卫禁，3、职制，4、户婚，5、厩库，6、擅兴，7、贼盗，8、斗讼，9、诈伪，10律，11、捕亡，12、断狱。十二篇之制，直接继承北齐律，篇目也大体沿袭北齐律名，略有改动。主要的改动是根据律文性质归类排列，注重法律的内在联系，使之明了有序。这样，隋法便清楚地分为法律总则、实体法和程序法，表明隋代立法技术的成熟。
隋律的突出特点，在于加强君主集权，维护官僚贵族等级制及其利益。这种倾向性主要体现于“十恶”和“八议”的规定。“十恶”规定，凡犯有谋反、谋大逆、谋叛、恶逆、不道、大不敬、不孝、不睦、不义、内乱罪者，须加重惩罚，不得宽赦。这十条重罪可以大致分为两类，即危害国家政权与皇室罪（谋反、谋大逆、谋叛、大不敬和不义）破坏宗法秩序罪（恶逆、不孝，不睦和内乱），以及特别恶劣残忍的犯罪（不道），强调“忠孝治国，把国看作是放大了的家，皇帝为绝对的家长。在国与家的关系上，则特别规定”唯大逆谋反叛者，父子兄弟皆斩，家口没官，突出忠君报国的至高无上地位。
北周和北齐，对于特别严重的犯罪均有专门规定，北周“重恶逆、不道、大不敬、不孝、不义、内乱之罪”，北齐则“列重罪十条”。隋律直接继承北齐律，参酌增删，创设“十恶”之制，反映出隋文帝重整社会秩序、大力加强中央集权的意图。
把儒家礼教法律化的同时，也给予官僚贵族相当的法律特权，即所谓议亲、议故、议贤、议能、议功、议贵、议勤和议宾的“八议”规定。“其在八议之科，及官品第七已上犯罪，皆例减一等。其品第九已上犯者，昕赎”。在颁行新律的诏书中，隋文帝强调“贵砺带之书，不当徒罚，广轩免之荫，旁及诸亲”，表明对于身份性贵族和受教育的士人，其法律适用不同于一般庶民。这样，《开皇律》的性质就更加明显。
在刑名上，隋文帝同样对前代法律做了大刀阔斧的改革。《开皇律》规定的刑名有五种，可以归纳为四类：第一，死刑，分斩和绞两种，绞刑可以全尸，故视为较轻。第二，流刑，有一千里、一千五百里和二千里三等，并且还要在流放地分等服劳役二年、二年半和三年；服刑时还要加杖一百、一百三十和一百六十。第三，徒刑，有一年、一年半、二年、二年半和三年五等。开皇前期，流刑和徒刑所服劳役可在官府“居作”执行，也可以“配为戍卒”，到了开皇十三年（593年），则原则上改为充军“配防”。第四，身体刑，分“杖刑”和“笞刑”两种，杖刑从六十到一百五等每等加十下，笞刑亦分五等，从十至五十，每等加十下。
最初的《开皇律》有一千数百条，显然接近于一千五百三十七条的北周律，而非九百四十九条的北齐律。《开皇律》的框架结构，主要取法北齐律，这是因为北齐律“法令明审，科条简要”的缘故。但是，在具体规定上，应该也吸收不少北周律条文。
《旧唐书·刑法志》记载：“隋文帝参用周、齐旧政，以定律令，除苛惨之法，务在宽平”，指明了《开皇律》的来源，所以，说“北魏、北齐、隋、唐律为一系相承之嫡统，而与北周律无涉也”。在隋文帝的督励下，《开皇律》当年就编修完成，十月十二日，文帝下诏在全国颁行。开皇三年（583年），隋文帝在批阅刑部奏文时，看到断狱数目尚在万件以上，被深深地震住了。这一切显然是由于前代苛法尚未尽除，新律过于严密，使人举手触禁，动辄犯法。于是，他找来纳言、民部尚书苏威、礼部尚书牛弘主持修改律文。据《隋书》记载，参加这次修订的应该还有赵轨和源师。这次修订，对前代81条死罪、105条流罪，千余条酷刑以及灭族等条文都一概废止。文帝还废除了以下几种酷刑：宫刑、车裂、枭首、鞭刑，孥戳、连坐等。文帝将这些流行上千年的野蛮刑罚彻底废除，天下为之一清。
捐弃前代酷法，也包括修正刑讯、诉讼和审判的规定。以往官司讯囚，法无规定，故法官狱吏滥施酷刑，故往往屈打成招，冤狱叠出。现在，《开皇律》把刑讯也纳入法内，规定讯囚时拷打不得超过两百下，行杖不得换人，还规定刑具的样式。在诉讼方面，除了正常的公诉外，允许自诉，对于刑事犯罪还要求相互纠告，纠告有赏，知情不告有罚。而且，还允许逐级上诉，“乃诏申敕四方，敦理辞讼洧枉屈县不理者，令以次经郡及州，至省仍不理，乃诣阙申诉。有所未惬，听挝登闻鼓有司录状奏之”。开皇二年（582年）下诏，全国各地死刑犯，不准在本地处决，必须送到大理寺（相当于最高法院）复审，审查完毕再送尚书省奏请皇帝裁决。
在审判上，要求秉公执法，对于舞文巧诋的官吏，还作了“反坐”的规定。重大案件，特别是死刑案件，要求上报中央再三复审。开皇六年（586年）规定：“命诸州囚有处死，不得驰驿行决”。开皇十二年（592年）又“诏请州死罪不得便决，悉移大理案覆，事尽然后上省赛裁”。到开皇十六年（596年）八月，则进一步规定为：“决死罪者，三奏而后行刑”。
这次修改法律，还确定了一些进步的司法原则。例如，要求“断决太狱，皆先牒明法，定其罪名，然后依断”，开皇五年（595年）更明确规定“自是诸曹决事，皆令具写律文断之”。同时，设置律博士弟子，协助判案。开皇五年发生律生舞文弄法的事件后，隋文帝鉴于前代设律官枉法出入的弊端，取消大理寺律博士、尚书刑部曹明法和州县律生，随后规定“诸州长史以下，行参军以上，并令习律，集京之日，试其通不”，督励执法官员学习法律，以求依法办案。《开皇律》对魏晋以来的南北各朝法律多有厘革，取精用宏，“自是刑网简要，疏而不失”，成为我国法制史上的一大里程碑。
隋文帝一朝，涌现出一批刚正不阿敢于秉公执法的司法官员，如李谔、郎茂、荣毗、梁毗、薛胄和上述赵绰、刘行本等人。其中，在文帝时期以执法公允著祢的郎茂，到炀帝时竟“不敢措言，唯窃叹而已”，足见这些法官能够有所作为，得益于隋文帝的信任与法治精神。
隋文帝本人十分重视司法审判，把执法公正作为政治清明的保证常抓不懈。开皇年间，他经常审理案件，特别是在秋季判决犯人之前，他曾多次“亲录囚徒”，以避免出现冤案。国子博士何妥以其亲眼所见，称赞文帝“留心狱讼，爱人如子，每应决狱，无不询访群公，刑之不滥，君之明也。”其行为无疑起到很大的表率作用，同时也给臣下无形的压力，警策他们认真执法。当然，隋文帝在不少时候也不顾法律规定，任情擅断。