Dillard sa preslávil ako jediný športovec v histórii, ktorý pod piatimi kruhmi triumfoval v šprinte i prekážkach. Celkovo získal štyri zlaté medaily. Na OH 1948 v Londýne sa tešil v šprinte a štafete 4×100 m, o štyri rok neskôr v Helsinkách zvíťazil cez prekážky a opäť v štafete.
„Je to strata pre celé ľudstvo. Bol vzorom pre nás všetkých, ako žiť, bol skutočný šampión,“ povedal o ňom jeho priateľ Ted Theodore.
Počas druhej svetovej vojny slúžil ako ostreľovač v poslednej čisto černošskej jednotke americkej armády, tzv. Buffalo Soldiers v rámci 92. pechotnej divízie. V roku 1974 ho uviedli do atletickej Siene slávy, o deväť rokov neskôr aj do olympijskej.