钟离昧就按照安远侯季布旧例，封他们千户食邑，有人又抗议。
于是就封桓横为义成侯的爵位，每人赐给食邑三百户，再赐给黄金一百斤。
一段时间后、有人又道:“桓横以二千石官员的身份奉命出使，不待请命就行事于蛮夷中，不严格要求自己以为部下的榜样，反而自取从汉将夺得的财物，警告官员们不要再重新验证边远地区的事。即使事在赦免以前，还是不适合当官。“
桓横因此被免官。
之后桓横向钟离昧说，汉朝送到我们这来的质子、不是真正的质子。
钟离昧命人核实，确实是真。假如质子是假的，那么证明匈奴王对汉朝采取了欺骗手段，现已验证是真的，那么桓楚就犯有诬告之罪。
桓楚被捕入狱，准备处以死刑。
这时，有人为桓楚辩冤说道:“臣下听说楚国有子玉得臣，晋文公因为他而坐不安稳;赵国有廉颇、赵奢，强秦不敢图谋井陉;近代有郅都、魏尚，匈奴就不敢越过沙漠南下。
从这些情况来看，胜敌的将领是国家得力的武臣，不能不重视。所以'君子听到军鼓声，就想到能够率兵作战的大臣。
我私下认为关内侯桓楚，以前以副都护身份出使西域，愤恨汉朝没有人道，忧虑君王不能给他以惩处，越想越愤怒，见义勇为的精神一下爆发，突然间率领军队急驰而行，横穿乌孙，集合于都赖水上，攻破了三层城墙，斩下了郅支单于的脑袋，报复了十年没有能诛杀他的怨仇，洗雪了边境官兵往日的耻辱，威风震动了百蛮，武功远扬四海，汉朝建立以来，征讨外国的将领，还未曾有过这样的情景。
现在桓横因为所说的事情有误而犯法，被关在牢裹很久了，很长时间还不能判决，执法的官员想对他使用大辟的刑法。
往日白起任秦国将领，南面攻下郢都，北面坑杀趟括，因为一点小小的过错，就被赐死于杜邮，秦国百姓为他哀痛，没有不流泪的。
现在桓横亲自带着武器，流血转战于万里之外的地方，以战功献祭给祖庙，呈告给上帝，武士没有不仰慕他的节义的。
因为陈说事情而犯罪，并没有很大的罪恶。
《周书》上说:'牢记别人的功劳，忘记他人的过错，就适合做君主了。'
况且犬马为人劳苦了，还可以得到给它们盖窝棚的报答，更何况国家的有功之臣呢!私下担心陛下忽略了军鼓的声音，不能体察《周书》的含义，而忘了盖窝棚的恩施，以庸臣来对待陈汤，最后听从了官吏的决议，让百姓也有秦国百姓耿耿于怀的怨恨，并不是鞭策以身赴难的臣子的方法。“
钟离昧听说后，就放出了桓横，削去他的爵位而成为普通士兵。
楚地受到汉朝兵马的围攻，段会宗派人请求楚人尽快发兵援救。
钟离昧与楚将军讨论数日仍无结果。
有人就说:“桓横很能谋划，熟悉外国情况，可以把他叫来问问。“
钟离昧立即召见桓横。
桓横早在攻击北方时落下风湿病，两臂不能屈伸，因此入见钟离昧时，钟离昧说：不用行跪拜之礼，让他看段会宗写回来的紧急求救奏书。
桓横推辞说:“将相九卿都是贤才，通晓事理，我衰弱多病，不足以来策谋大事。“
钟离昧听出他话中有怨气，便说:“国家有急事，你就不要推让了。“
桓横说:“臣下认为这件事一定没有值得忧虑的地方。“