豪山乡位于安仁县东南部，西北距县城40公里，海拔高度：257米。与炎陵、资兴、永兴三县接壤。全境为山区，群山环抱，高峰耸立，海拔1000米以上的高山有4座，最高处的金紫仙海拔达1433米。浦阳河、莲花江由南而北贯穿全境。2014年7月1日吉衡铁路安仁火车站建成通车，结束了安仁县不通火车的历史，从安仁站坐火车去西部偏北70公里处的衡阳只要12.5元，1个小时。