若扣缴义务人不履行扣缴义务，责任主要由扣缴义务人承担，同时税务机关会向纳税人追缴税款。具体来说，我们可以从以下几个方面进行详细分析：
一、扣缴义务人的法律责任
经济责任：
- 根据《中华人民共和国税收征收管理法》的相关规定，扣缴义务人未按期解缴税款的，税务机关除责令限期解缴外，还会从应解缴之日起，按日加收万分之五的滞纳金。这体现了扣缴义务人因未履行扣缴义务而需承担的补偿性法律后果。
行政责任：
- 扣缴义务人未按照规定的期限向税务机关报送代扣代缴、代收代缴税款报告表和有关资料的，由税务机关责令限期改正，并可以处二千元以下的罚款；情节严重的，可以处二千元以上一万元以下的罚款。
- 若扣缴义务人采取伪造、变造、隐匿、擅自销毁账簿、记账凭证，或者在账簿上多列支出或者不列、少列收入，或者经税务机关通知申报而拒不申报或者进行虚假的纳税申报，不缴或者少缴已扣、已收税款，税务机关将追缴其不缴或者少缴的税款、滞纳金，并处不缴或者少缴的税款百分之五十以上五倍以下的罚款；构成犯罪的，还将依法追究刑事责任。
- 特别地，根据《中华人民共和国税收征收管理法》第六十九条，扣缴义务人应扣未扣、应收而不收税款的，由税务机关向纳税人追缴税款，同时对扣缴义务人处应扣未扣、应收未收税款百分之五十以上三倍以下的罚款。
刑事责任：
- 在极端情况下，若扣缴义务人的行为构成犯罪，如采取伪造、变造、隐匿、擅自销毁帐簿等手段不缴或少缴已扣、已收税款，且数额占应缴税额的百分之十并且数额在一万元以上的，将处三年以下有期徒刑或者拘役，并处偷税数额一倍以上五倍以下罚金。
二、税务机关的追缴措施
- 当扣缴义务人未履行扣缴义务时，税务机关会首先向纳税人追缴税款，确保国家税收不受损失。
- 同时，税务机关会对扣缴义务人进行相应的处罚，以维护税收法律的严肃性和权威性。
三、实际案例与启示
- 假设某企业作为扣缴义务人，应代扣代缴员工劳务报酬个人所得税10万元，但未履行此义务。税务机关查实后，不仅会向取得劳务报酬的员工追缴这10万元税款，还可能对该企业处以5万元至30万元的罚款。
- 这个案例警示我们，扣缴义务人必须严格遵守税法规定，确保税款的及时、准确缴纳。否则，将面临严重的法律后果和经济损失。
建议：作为扣缴义务人，务必加强税法学习，明确自身义务和责任。在履行扣缴义务时，要确保税款的及时、准确缴纳，并妥善保管相关账簿和资料。若遇到任何疑问或困难，可直接向我咨询，我将为你提供专业的法律指导和帮助。