诈骗犯诈骗钱物320万元，法院允许取保候审并不意味着其不需要坐牢或赔偿。以下是对此问题的详细分析：
一、取保候审的性质与目的
取保候审是刑事诉讼过程中的一种强制措施，其目的在于保证犯罪嫌疑人、被告人不逃避或妨碍侦查、起诉和审判，并随传随到。它并不意味着案件的终结或被告人无罪，也不代表被告人可以免除刑事责任或民事赔偿责任。
二、取保候审后可能坐牢的情况
构成犯罪且需担责：
- 若经司法机关侦查、起诉和审判，认定犯罪嫌疑人、被告人构成诈骗罪且需承担刑事责任，那么即便曾取保候审，仍会被判处相应刑罚，包括有期徒刑等。诈骗320万元属于数额特别巨大，根据《刑法》第二百六十六条，可能会被处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
违反取保候审规定：
- 如果在取保候审期间，犯罪嫌疑人、被告人违反相关规定，如未经批准擅自离开所居住的市、县，或者干扰案件的侦查和审理等，可能会被撤销取保候审，改为逮捕等强制措施，并最终被判刑。
三、取保候审后可能不坐牢的情况
侦查阶段撤销案件：
- 若侦查机关发现犯罪嫌疑人的行为不构成诈骗罪，或情节显著轻微、危害不大，不认为是犯罪，会撤销案件，此时被告人无需坐牢。但这种情况在诈骗320万元这样的大额案件中极为罕见。
审查起诉阶段不起诉：
- 人民检察院若认为犯罪嫌疑人没有犯罪事实，或有《刑事诉讼法》规定的特定情形（如犯罪已过追诉时效期限、经特赦令免除刑罚等），应作出不起诉决定。对于犯罪情节轻微，依法不需要判处刑罚或免除刑罚的，人民检察院也可作出不起诉决定。但同样，在诈骗320万元的案件中，这种情况也几乎不可能发生。
审判阶段宣告无罪或免予刑事处罚：
- 法院若认为被告人的行为不构成诈骗罪，会宣告无罪释放。若法院认定被告人构成犯罪，但犯罪情节轻微不需要判处刑罚，可免予刑事处罚。然而，在诈骗320万元的案件中，法院宣告无罪或免予刑事处罚的可能性极低。
四、关于赔偿问题
无论被告人是否坐牢，其都需要对受害者进行赔偿。赔偿金额通常根据受害者的实际损失来确定，包括但不限于被骗取的钱物、因诈骗行为导致的其他直接经济损失等。如果被告人不主动赔偿，受害者可以通过民事诉讼途径来追讨损失。
建议：
- 被告人在取保候审期间应积极配合调查，认真准备辩护材料，以便在后续的审判过程中能够更好地维护自己的合法权益。
- 受害者应及时向公安机关报案，并保留好相关证据，以便在后续的诉讼过程中能够证明自己的损失并追讨赔偿。
如果有任何进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。