赫尔曼通过密谋，联络了大部分日耳曼部落。公元9年秋天，他们终于决心举兵。同一般的日耳曼人不同，赫尔曼是一位智力型选手，他明白无法正面击败罗马人，必须活用天时地利。赫尔曼先命偏远地区的部落发动反叛。瓦卢斯立刻率领主力部队前去征讨。忠于罗马的部落领袖深感危机。日耳曼酋长、赫尔曼的岳父赛盖司特斯提醒瓦卢斯注意叛乱，他提出了一个惊人的建议——把日耳曼部落显贵全抓起来，包括他本人，当然也包括赫尔曼，这样日耳曼人群龙无首，瓦卢斯可以从容消灭叛乱分子。赛盖司特斯为什么不支持女婿的事业呢？因为他女儿本来是许配给别人的，结果被赫尔曼拐跑了。
然而，瓦卢斯好像命中注定要死在赫尔曼刀下。他拒绝了赛盖司特斯的这个合理建议，匆匆率军踏上不归路。身在罗马军中的赫尔曼连同其他密谋者，赶紧借口召集盟军，脱离了瓦卢斯的大军。在日耳曼人的引诱下，罗马军队懵懵懂懂地进入了葬身之地——条顿堡森林。
今天的德国地区在当时大部分还是蛮荒之地。条顿堡森林位于一片河谷纵横的高地，上面覆盖着茂密的林木。罗马士兵在森林中不得不砍树开路，行军速度大大减缓。祸不单行，此时天降暴雨，森林里到处是泥泞的沼泽，罗马军分散在林中各处，难以集中，他们的去路则被日耳曼人事先砍倒的大树拦住。赫尔曼率领征集的部落战士，趁着大雨发起突袭。他们像山洪一样从密林中冲了出来，将罗马军队各个击破。罗马人顽强地战斗了三日，最终全军覆没，统帅瓦卢斯自杀身亡。罗马士兵的遗体遍布战场。六年以后，再次来到战地的另一支罗马军队，仍可以看到成堆的白骨、残破的投枪和赫尔曼发表演说的讲坛。
条顿堡森林一战令三个罗马军团撤编，而当时罗马帝国一共只有二十八个军团。奥古斯都闻讯后气急败坏，一边用头撞击门柱，一边高呼：“瓦卢斯，还我军团！”赫尔曼则在事后骄傲地宣布：“日耳曼人对于易北河和莱茵河之间的土地上出现罗马的笞棍、斧头和长袍，绝不能再容忍下去”。
经此一战，罗马帝国的势力退回莱茵河西岸。几年后，奥古斯都养子提比略继位。提比略早年也曾担任日耳曼尼亚总督，深谙此地重要性。公元15年，他派遣侄儿日耳曼尼库斯攻打日耳曼。赛盖司特斯果断投靠罗马。日耳曼尼库斯乘机抓住了赫尔曼的妻子。这个女人的脾气很像她的丈夫，没有掉一滴眼泪，也不讲一句求饶的话。赫尔曼得到消息，气得破口大骂：“多么出色的父亲！多么伟大的统帅！多么勇敢的军队！他们竟然联合起来劫走一个可怜的妇女。”他号召日耳曼人追随自己去争取光荣和自由。
趁着一支罗马军队经过沼泽地带的狭窄堤路，日耳曼人发起正面进攻。赫尔曼亲率精兵冲锋。战场到处都是淤泥，罗马军进退不得。日耳曼人已经接近胜利了，当天夜里，罗马统帅梦见了浑身是血的瓦卢斯喊自己上路。但接下来的战斗中，日耳曼人暴露出有组织无纪律的特点，盲目争抢战利品，结果在罗马军团的反击下溃不成军。尽管如此，这一战还是给了罗马很大打击，留守莱茵河的军团甚至吓得要拆掉河上的大桥。
赫尔曼没有丧失斗志。传说他与忠于罗马的兄弟隔着威悉河辩论，祈求他不要当叛徒和卖国贼。不久，罗马军渡过威悉河，双方展开决战。赫尔曼嘲笑罗马士兵是最善于逃跑的部队，还笑话日耳曼尼库斯乳臭未干——虽然他本人年纪也不大。实践证明不能和罗马军团硬碰硬。日耳曼人又一次战败。罗马统帅要求：“任何战俘都不需要，只有把对方斩尽杀绝战争才能以结束。”
然而，战争并没有如罗马人想象的那样迅速终结。日耳曼人转而发挥自身长处，利用复杂地形消耗罗马军，将战争拖延下去。顽强的赫尔曼也得到了罗马人的敬重。一名日耳曼酋长写信保证可以毒死他，罗马的回答却是：“罗马人民对他们的敌人进行报复时从来不使用阴谋诡计，而是进行公开的作战。”罗马最终未能以“公开的作战”消灭赫尔曼，公元21年，他死于日耳曼部落的内部斗争。
虽然赫尔曼一度被打得大败，老婆都被抓走了。但罗马历史学家塔西佗公正地评价了这位悲剧英雄：“他毫无疑问是日耳曼的解放者，他同他先前的那些首领和国王不同，他不是对童年时期的罗马，而是对一个权力正如日中天的罗马作战，他对罗马进行的战斗有胜有负，但整个战争没有失败过。”赫尔曼的事迹被长久传颂，可以被认为是德意志民族主义的源头。十九世纪时，德国人在条顿堡森林立起了一座高达五十三米、手持利剑的赫尔曼青铜雕像，纪念这位民族英雄。
面对日耳曼人的激烈抵抗，罗马最终放弃了征服全部日耳曼尼亚的企图，放任日耳曼部落在莱茵河以东活动。帝国在莱茵河东岸建立界墙，这成为罗马帝国和日耳曼人的分界线，形成日后德国西部疆界的雏形，也埋下了帝国灭亡的种子。
