III Olimpiyatı düzenleme konusunu tartışırken, Uluslararası Olimpiyat Komitesi, bu ülke önceki iki oyunda iyi sonuçlar gösterdiğinden, Amerika Birleşik Devletleri topraklarında düzenlemeye karar verdi. Başlangıçta, Olimpiyatları Chicago veya New York'ta düzenlemek istediler, ancak sonuç olarak, seçim küçük liman kasabası St. Louis'e düştü.
Louis'deki III Olimpiyat, Paris Olimpiyatları ile birlikte Dünya Sergisi çerçevesinde yapıldı. Ancak, Serginin yerel yönetimi, onu bir rakip olarak görmedi, aksine, oyunları kendi reklam amaçları için mümkün olan her şekilde kullanmaya çalıştı. Ayrıca organizatörler, Paris'teki 1900 Yaz Olimpiyatları'nın bazı hatalarını tekrarladılar. Dünya Sergisine bağlılık nedeniyle, yarışmalar arka plana itildi ve Olimpiyatların kendisi neredeyse 5 ay sürdü (1 Temmuz - 23 Kasım 1904). Çeşitli meslek kuruluşlarının öncülüğünde birçok yarışma düzenlendi, ancak buna rağmen hepsine Olimpiyat disiplinleri unvanı verildi.
IOC'ye göre, St. Louis Yaz Oyunlarına 12 ülke katıldı. Yarışmaya ilk kez katılan tek ülke Güney Afrika oldu. Paris Olimpiyatları ile karşılaştırıldığında, katılan ülke sayısı önemli ölçüde düştü. Yaz Paris Oyunlarına katılan 13 eyalet ekonomik nedenlerle St. Louis'e gelemedi. O dönemde Japonya ile savaş halinde olan Rusya yarışmaya katılmadı.
3. Yaz Olimpiyatları'na 6'sı kadın olmak üzere toplam 651 kişi katıldı. 18 spor dalında 94 set ödül için yarıştılar. En çok sayıda Amerika Birleşik Devletleri takımıydı, oyunlarda 533 kişiyi temsil ettiler. Birçok sporda (boks, güreş, su topu, okçuluk ve tenis) sadece Amerikalı sporcular performans gösterdi, bu yüzden oyunlar ülkenin üstünlüğünü açıkça gösterdi.
Louis'de ilk kez en iyi sonucu gösteren iki değil üç sporcuyu ödüllendirmeye başladılar. Yarışmanın ana galibi altın madalya kazandı; ikinci sırayı alan atlet - gümüş; üçüncüsü ise bronz madalya ile ödüllendirildi. Bu gelenek günümüze kadar gelmiştir.
Resmi olmayan takım etkinliğinde, katılan ülkeler şu şekilde sıralandı: I. sıra - ABD (78 altın, 82 gümüş, 78 bronz madalya), II. sıra - Almanya (4 altın, 4 gümüş, 5 bronz madalya), III. sıra - Küba (4 altın, 2 gümüş, 3 bronz madalya).
