你的行为是我国婚姻法及社会道德禁止的婚外情现象。婚外情在现行法律层面上，属于违反对配偶的忠实义务的行为，法律上的责任目前还是空白，更多的是通过道德自律方式解决。

     在本案中你的行为固然不道德，你工友丈夫的行为也值得商榷。你们达成的2万元的感情债务协议属于自然债务问题，该协议无法律约束力。你可以自愿支付，也可不支付。你工友丈夫可以请求支付这笔债务，但不能使用暴力及胁迫、要挟手段。在本案中由于他使用了要挟手段索取感情债务，其行为已涉及敲诈勒索罪。你可向本地公安机关报案追究其刑事责任，要回已支付的钱款。