Trong cuộc thảo luận về Thế vận hội Olympic III, Ủy ban Olympic quốc tế đã quyết định tổ chức nó tại Hoa Kỳ, vì quốc gia này cho thấy kết quả tốt trong hai trò chơi trước. Ban đầu, họ muốn tổ chức Thế vận hội ở Chicago hoặc New York, nhưng kết quả là, sự lựa chọn rơi vào thị trấn cảng nhỏ St. Louis.
Thế vận hội III tại St. Louis, cùng với Paris, được tổ chức như một phần của Triển lãm thế giới. Tuy nhiên, ban quản lý địa phương của Triển lãm đã không coi đó là đối thủ cạnh tranh mà trái lại, đã cố gắng hết sức để sử dụng các trò chơi cho mục đích quảng cáo của riêng họ. Ngoài ra, ban tổ chức đã lặp lại một số sai lầm của Thế vận hội Mùa hè 1900 ở Paris. Do gắn bó với Triển lãm Thế giới, các cuộc thi đã bị rớt xuống nền, và Thế vận hội đã kéo dài gần 5 tháng (1 tháng 7 - 23 tháng 11 năm 1904). Nhiều cuộc thi đã được tổ chức dưới sự hướng dẫn của các tổ chức chuyên nghiệp khác nhau, tuy nhiên, mặc dù vậy, tất cả đều được trao danh hiệu kỷ luật Olympic.
Theo IOC, 12 quốc gia đã tham gia các trò chơi mùa hè ở St. Louis. Bang duy nhất tham dự cuộc thi lần đầu tiên là Nam Phi. So với Thế vận hội Paris, số lượng các quốc gia tham gia đã giảm mạnh. 13 tiểu bang tham gia Thế vận hội Mùa hè Paris đã không thể đến St. Louis vì lý do kinh tế. Nga, nước đã chiến đấu với Nhật Bản vào thời điểm đó, đã không tham gia vào các cuộc thi.
Tổng cộng, 651 người, trong đó có 6 phụ nữ, biểu diễn tại Thế vận hội mùa hè III. Họ đã tranh giành 94 bộ giải thưởng trong 18 môn thể thao. Đội lớn nhất là Hợp chủng quốc Hoa Kỳ, họ đại diện cho 533 người tại các trò chơi. Trong nhiều môn thể thao (đấm bốc, đấu vật, bóng nước, bắn cung và quần vợt) chỉ có các vận động viên người Mỹ, vì vậy các trò chơi đã thể hiện rõ sự nguyên thủy của đất nước.
Ở St. Louis lần đầu tiên bắt đầu thưởng ba, không phải hai vận động viên thể hiện kết quả tốt nhất. Người chiến thắng chính của cuộc thi đã được trao huy chương vàng; vận động viên hạng nhì - bạc; và vị trí thứ ba được đánh dấu bằng một giải thưởng bằng đồng. Truyền thống này đã tồn tại đến hiện tại.
Trong bảng xếp hạng đội không chính thức, các quốc gia tham gia như sau: Tôi đặt - Mỹ (78 vàng, 82 bạc, 78 huy chương đồng), hạng II - Đức (4 vàng, 4 bạc, 5 huy chương đồng), vị trí III - Cuba (4 vàng, 2 bạc, 3 huy chương đồng).
