四一二事变后，他摇身一变，成了蒋介石的得利助手，亲自指挥部队和特务机构大肆抓人，死在他手里的同志数以千计之多。

虽然他在这些方面立了功，但他性格比较冲动，不能谨言慎行，很多同僚并不欢迎他。但蒋介石却认为他有用，至少在大多数人都不敢出头的时候，他可以成为出头鸟。于是在进攻红军的第一次大规模军事行动时，张辉瓒被任命为江西全省剿匪总指挥，领兵十万进攻苏区。

1930年底，国民党军开始进攻苏区。此时的苏区虽然已经建成了军事防线、学校和医院等基础设施，但实力上依然比较弱，缺少武器装备，因此面对强敌，红军采取机动灵活的打法，没有硬拼，战略性的放弃了一些地区。张辉瓒在取得一些胜利后，更加不把红军和根据地百姓放在眼里，抓捕和杀害了很多同志和无辜群众，因此苏区的红军和百姓一听说他的名字，都恨的牙痒痒。尤其是东固地区，因为他的一声令下，导致方圆四十里之内的人都被杀光。

连续的取胜也让他越来越无所顾忌，开始孤军深入，毛主席和朱德决定把握战机，对他亲自率领的九千先头部队实施包围歼灭战。

在小别村一带，红军完成了合围，战斗立即打响。张辉瓒带领的部队一方面人少，另一方面不熟悉地形，连续的胜利也让部队成了骄兵，根本没有什么抗打击能力，很快一触即溃。他孤身逃到了山上，钻到了一处土洞里，没过多久，红军就发现了他，将他俘虏。