结论：违法厂房若存在《不动产登记暂行条例实施细则》第七十条所规定的违法情形，理论上可以申请撤销抵押登记，但具体能否撤销还需结合实际情况及法律规定综合判断。

分析：

1. 法律依据：

   • 根据《不动产登记暂行条例实施细则》第七十条，若不动产登记存在错误，如登记内容与实际情况不符、登记程序违法等，相关权利人或利害关系人有权申请更正登记或撤销登记。
   • 对于违法厂房，如果其抵押登记过程中存在违法情形，如未经合法审批、未取得合法产权证明等，导致抵押登记内容与实际情况不符或登记程序违法，那么相关权利人或利害关系人可以依据该条款申请撤销抵押登记。

2. 实际情况考量：

   • 违法厂房的性质：首先需要明确违法厂房的具体违法情形，如是否未经规划审批、是否未取得建设工程规划许可证等。这些违法情形将直接影响抵押登记的合法性。
   • 抵押登记的合法性：在违法厂房的基础上进行的抵押登记，如果抵押物本身不合法，那么抵押登记的合法性也将受到质疑。此时，申请撤销抵押登记将具有法律依据。
   • 申请撤销的主体：通常，申请撤销抵押登记的主体应为抵押人、抵押权人或利害关系人。他们需要提供充分的证据证明抵押登记存在违法情形。

3. 法律程序：

   • 申请更正或撤销登记：相关权利人或利害关系人应向不动产登记机构提出申请，并提供相关证据材料。
   • 审查与决定：不动产登记机构将对申请进行审查，并根据审查结果作出是否更正或撤销登记的决定。
   • 法律救济：如果不动产登记机构拒绝更正或撤销登记，申请人可以通过行政复议或行政诉讼等法律途径寻求救济。

4. 可能面临的挑战：

   • 证据收集：申请撤销抵押登记需要提供充分的证据证明抵押登记存在违法情形。这可能需要申请人投入大量的时间和精力进行证据收集。
   • 法律程序复杂：申请撤销抵押登记涉及多个法律程序，如申请、审查、决定等。申请人需要了解并遵循这些程序，否则可能会影响申请的成功率。
   • 抵押权人的权益保护：在撤销抵押登记的过程中，需要平衡抵押权人的合法权益。如果抵押权人无过错且已善意取得抵押权，那么撤销抵押登记可能会对其造成不利影响。

建议：

• 如果您认为违法厂房的抵押登记存在违法情形，并希望申请撤销该登记，建议您首先收集充分的证据材料，如违法厂房的审批文件、产权证明、抵押登记文件等。
• 接着，您可以向不动产登记机构提出申请，并提供相关证据材料。在申请过程中，您可以咨询专业律师以获取更具体的法律建议和指导。
• 如果不动产登记机构拒绝更正或撤销登记，您可以考虑通过行政复议或行政诉讼等法律途径寻求救济。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。