结论：要一万块钱又给对方退回去了，这一行为本身通常不犯法，但具体是否违法需结合行为动机、行为方式及是否侵犯他人权益等因素综合判断。

1. 若行为合法且无恶意

• 情况说明：若您因某种原因（如误转、协商退款等）向对方索要一万元，随后又主动或经协商后将款项退回，且整个过程中没有欺诈、胁迫等非法手段，也未侵犯他人合法权益，那么这一行为是合法的，不构成犯罪。
• 法律依据：根据《中华人民共和国民法典》的相关规定，民事主体从事民事活动，应当遵循自愿、公平、诚信等原则。您的行为若符合这些原则，即不违法。

2. 若行为涉及欺诈或非法占有

• 情况说明：若您以非法占有为目的，通过虚构事实、隐瞒真相等手段骗取对方一万元，随后又因担心被发现而退回，这一行为可能构成诈骗罪（未遂）或诈骗罪（既遂后返还）。此外，若您在索要或退回过程中使用暴力、威胁等手段，还可能涉及其他犯罪。
• 法律依据：根据《中华人民共和国刑法》第二百六十六条的规定，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。若您的行为符合诈骗罪的构成要件，即使最终退回了款项，也可能受到刑事处罚。不过，在司法实践中，对于诈骗后主动退还的情况，法院可能会酌情从轻处罚。

3. 若行为涉及合同纠纷

• 情况说明：若您与对方之间存在合同关系，您索要一万元可能是基于合同约定的款项（如预付款、定金等），随后又因合同解除、变更等原因退回，这一行为需根据合同条款及法律规定来判断是否合法。若合同明确约定了款项的支付与退回条件，且您按照约定执行，则不违法。
• 法律依据：根据《中华人民共和国民法典》合同编的相关规定，当事人应当按照约定全面履行自己的义务。若您的行为符合合同约定，即不违法。

4. 建议与注意事项

• 保留证据：无论何种情况，建议您保留与对方沟通、转账、退款等相关证据，以备不时之需。
• 咨询专业律师：若您对行为的合法性存在疑虑，或担心可能涉及法律纠纷，建议及时咨询专业律师，以便得到更准确的法律意见。
• 遵守法律法规：在日常生活中，应遵守国家法律法规，避免从事任何违法犯罪活动。

总结：要一万块钱又给对方退回去了，这一行为本身通常不犯法，但具体是否违法需结合行为动机、行为方式及是否侵犯他人权益等因素综合判断。若您对此有疑虑或担心可能涉及法律纠纷，建议直接向我咨询，以便得到更准确的法律意见。