转瞬之间，三年过去了。
日内瓦产生了新的信仰危机，人们的生活松弛腐化，城市里布满赌徒、酒鬼和娼妓，天主教徒也开始蠢蠢欲动，试图让这个城市重回罗马教廷的怀抱。那些参与将加尔文驱逐的人士开始反思，与其任这个城市道德迷失，还不如让加尔文推行严格的宗教治理呢。
最后，市议会决定致信加尔文，邀请其回归。一开始口吻含糊，传递暗示，很快语气就变得迫切而中肯，最后甚至是一副哀求的姿态了。加尔文对此无动于衷，自有其如意算盘，终于有一天，日内瓦市议会的代表竟以下跪的方式恳求加尔文回心转意，以前最崇拜他的助手法雷尔也不禁在信中写道：“现在就差日内瓦的石头没有哭着求您回来了。”但是加尔文依然强硬拒绝。
最后，市议会彻底投降，他们宣誓忏悔自己的过去所为，保证授予加尔文在日内瓦绝对至高无上的权利。1541年，9月13日，在全城市民的欢迎中，加尔文重回日内瓦。
加尔文一如既往的将全部热情投入到信仰中，要将宗教中一切无关教义的东西统统弃绝：清除教堂里所有圣人的画像和雕像，销毁那些描绘着宗教寓言故事的壁画，废除颜色鲜艳的教服长袍，丢弃供奉圣灵的神龛。那些庆祝式的宴会和酒席尤其应当被禁止，因为它们只能使情感获得放纵。宗教仪式中的音乐也被禁止，日内瓦教堂的钟声在其威严下也归于沉寂。那些繁琐的宗教礼节、仪式、庆典和节日都被废除了。
加尔文认为人性本恶，人类是一群顽固不化的暴力分子，是沆瀣一气的罪人，因此她要做一个与世俗为敌的改革者。他的“精神警察”监督每一个市民，生活小事也要仔细过问盘查，比如：女子所穿的衣服是否合乎规范，裙子的长短是否有违规定，外衣的装饰花边是否过分花哨，是否有超乎标准的开叉，妇女的头发是否盘的过高等。甚至还要检查饭桌上的食物是否超过了加尔文规定的标准，是否有被禁止的糖果、零食和果汁。大街上到处是密探在监听每个人的言行，饮酒、妄言、消遣娱乐都是被明令禁止的。旅客的行李，甚至是任何出入日内瓦的信件都要拆封查看。即使是在里昂和巴黎，任何一个日内瓦公民依然难以摆脱被监视的命运。
在其执政的头五年里，就有13人被处以绞刑，10人被斩首，35个人被送上火刑柱。一个市民由于在参加洗礼仪式时面露微笑被判入狱三天；一个人由于在聆听布道时打瞌睡也遭牢狱之灾；几个在早餐时吃点心的工人被罚三天之内只能喝水吃干面包；一个拒绝将儿子命名为亚伯拉罕的男子被判监禁；一对农民夫妇一出教堂就开始聊买卖的事而被押进牢房；两个举止失礼的男孩，被判处火刑，后被改判为去火刑现场参观。
不过，尽管城市一潭死水，加尔文还是为日内瓦培养了不少虔诚的市民、商人，恪守规矩的神学家和卓越的学者。然而另一方面，在加尔文死后200百年中，这个湖光山色的花园城市没有出现过一个有名望的艺术家。加尔文声称：要想在这个堕落之城中树立他理想中的道德规范，至少需要把一千七八百个青年送上绞刑架才行。加尔文俨然成为了“日内瓦教皇”。
加尔文的一生，因其性格所致，无时无刻不处于一种令人无法接近的状态。为了达到自己期望的完美境界，他每天只满足身体最低限度的物质需要，其食物和睡眠已经少到仅能维持生命而已，一边看书一边吃每天一顿极其简单的饭。睡眠时间绝不超过6个小时，他的工作精力旺盛的像个魔鬼，他的书房的灯往往都是彻夜长明。加尔文不给自己任何休闲娱乐的时间，也从来不散步，他的生命里没有任何私人的空间，完全奉献给宗教事业。后来教皇庇护四世提到加尔文时说：“这个人只爱工作不爱金钱，如果他能为我所用，我相信天主教将一统天下。”
很多宗教改革领袖都有普通人的需求，茨温利曾有一个私生子，路德公开宣称，就算不娶妻，也要找个情人。加尔文的世界是上帝光环照耀下纯粹的精神世界，讨厌一切令人感官愉悦的事物：女色，美酒，艺术…..他永远是一袭黑衣，以至于他的信徒也凭此装束显得郁郁寡欢。
为了反对天主教会的独身制度，加尔文考虑结婚，但这绝不是因为爱情，而是认为婚后的生活对工作有帮助。这个任务交由他的助手去完成，却鬼使神差的与一个水性杨花的女子订了婚，加尔文对婚姻前景彻底失望，于是干脆找了个寡妇。可是他的独生子出生没几天就夭折了，此后不久，妻子也病逝，36岁的加尔文成了鳏夫。