违法分包居间费协议无效时，居间费是否可以要求返还需视具体情况而定，以下从不同角度进行分析：

一、总体判定原则

根据相关法律规定，合同无效后，基于该合同取得的财产原则上需返还。因此，若违法分包居间费协议被认定无效，居间人基于此协议获得的居间费，在一般情况下应当退还。这是基于合同无效后财产返还的基本原则。

二、存在劳务损失的情况

1. 居间人付出劳务且有实际损失：如果居间人在促成合同成立的过程中付出了劳务，且有实际损失（如进行了前期的信息收集、四处打听合适的交易信息，还花费时间和精力进行沟通协调等），则情况会有所不同。此时，委托人需根据双方的过错程度，按照公平原则给予居间人适当补偿，而非全额退还居间费。
2. 法院判定方式：在实际操作中，如果居间人虽最终未促成合同成立，但存在上述前期工作成本，法院会综合考虑各种因素，酌情判定委托人给予一定补偿。这意味着，居间费具体退还与否及退还的金额，最终要由法院综合多方面因素来判定。

三、居间人过错导致合同无效的情况

如果合同无效是由于居间人的故意欺诈、隐瞒重要事实等过错行为导致的，那么居间人不仅不应收取居间费，还可能需要赔偿委托人因此遭受的损失。在这种情况下，已收取的居间费当然需返还。

四、居间人无过错但合同无效的情况

当合同无效是因为双方或其他第三方的原因，而居间人无过错时，若居间人已付出劳动，可参照其付出的成本、时间、精力等，由双方协商确定是否给予一定补偿及具体金额。协商不成时，可通过诉讼解决，法院会根据实际情况判定是否返还及返还比例。

举例说明：

假设在一个违法分包的项目中，居间人A与委托人B签订了居间费协议。后来，由于分包行为违法，该协议被认定无效。此时：

• 如果A未付出任何劳务，仅是凭借关系促成了协议的签订，那么B有权要求A全额退还居间费。
• 如果A在促成协议的过程中付出了大量劳务，如进行了市场调研、协调各方关系等，并因此产生了实际损失，那么B可能需要根据双方的过错程度，给予A适当补偿，而非全额退还居间费。
• 如果协议无效是由于A的故意欺诈或隐瞒重要事实导致的，那么A不仅应退还居间费，还可能需赔偿B因此遭受的损失。

综上所述，违法分包居间费协议无效时，居间费是否可以要求返还需根据具体情况来判断。如有相关法律问题，可以直接向我咨询。