| Jul | AUG | Sep |
| 13 | ||
| 2010 | 2011 | 2012 |
Web wide crawl with initial seedlist and crawler configuration from March 2011. This uses the new HQ software for distributed crawling by Kenji Nagahashi.
What?s in the data set:
Crawl start date: 09 March, 2011
Crawl end date: 23 December, 2011
Number of captures: 2,713,676,341
Number of unique URLs: 2,273,840,159
Number of hosts: 29,032,069
The seed list for this crawl was a list of Alexa?s top 1 million web sites, retrieved close to the crawl start date. We used Heritrix (3.1.1-SNAPSHOT) crawler software and respected robots.txt directives. The scope of the crawl was not limited except for a few manually excluded sites.
However this was a somewhat experimental crawl for us, as we were using newly minted software to feed URLs to the crawlers, and we know there were some operational issues with it. For example, in many cases we may not have crawled all of the embedded and linked objects in a page since the URLs for these resources were added into queues that quickly grew bigger than the intended size of the crawl (and therefore we never got to them). We also included repeated crawls of some Argentinian government sites, so looking at results by country will be somewhat skewed.
We have made many changes to how we do these wide crawls since this particular example, but we wanted to make the data available ?warts and all? for people to experiment with. We have also done some further analysis of the content.
If you would like access to this set of crawl data, please contact us at info at archive dot org and let us know who you are and what you?re hoping to do with it. We may not be able to say ?yes? to all requests, since we?re just figuring out whether this is a good idea, but everyone will be considered.

| About CME Group | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Information and Resources
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Feedback
|
| Clearing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Clearing Services
|
Financial and Collateral Management
|
Clearing Operations
Business Continuity Mgt/DR
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| CME ClearPort | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
CME ClearPort
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Agricultural Products Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
CME ClearPort
Block Trades
Grains and Oilseeds (CBOT)
FUT | OPT
FUT
FUT | OPT
FUT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
Grains and Oilseeds (CME)
FUT
|
Livestock (CME)
FUT | OPT
FUT | OPT
FUT | OPT
Dairy (CME)
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
|
Commodity Indexes (CME)
FUT | OPT
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Economic Events Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Block Trades
FUT | OPT
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Energy Products Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
CME ClearPort
Block Trades
Crude Oil (NYMEX)
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
Ethanol (CBOT)
FUT | OPT
Ethanol (NYMEX)
|
Natural Gas (NYMEX)
FUT | OPT
Electricity (NYMEX)
|
Refined Products (NYMEX)
FUT | OPT
FUT | OPT
Coal (NYMEX)
Other
FUT
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Equity Index Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Block Trades
US Index Futures and Options (CME)
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
US Index Futures and Options (CBOT)
FUT | OPT
FUT | OPT
|
Weekly Options (CME)
OPT
International Index Futures and Options (CME)
FUT | OPT
FUT
Custom Indexes (CME)
Select Sector Indexes (CME)
|
TRAKRS (CME)
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FX Products Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
CME ClearPort
Block Trades
G10 Currency Pairs (CME)
FUT | OPT
FUT
FUT
FUT
FUT | OPT
FUT
FUT | OPT
FUT
FUT | OPT
FUT
FUT
FUT | OPT
FUT
FUT | OPT
FUT | OPT
FUT
FUT
|
G10 Currency Pairs (cont.)
FUT | OPT
FUT
FUT
FUT | OPT
FUT
FUT
FUT | OPT
FUT
E-micros (CME)
FUT
FUT
FUT
FUT
FUT
FUT
FUT
FUT
FUT
|
Emerging Market Currency Pairs (CME)
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT
FUT
FX VolContracts (CME)
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Interest Rate Products Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Block Trades
STIR (CME)
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
STIR (CBOT)
FUT | OPT
Cleared OTC
Sovereign Yield Spreads (CME)
|
U.S. Treasury Futures and Options
(CBOT) FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
U.S. Treasury Futures and Options
(CME) FUT | OPT
Intercommodity Spreads (CBOT)
|
Swap Futures and Options (CBOT)
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
Interest Rate Indexes (CME)
Interest Rate Indexes (CBOT)
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Metals Products Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
CME ClearPort
Block Trades
|
Precious (COMEX)
FUT | OPT
FUT | OPT
FUT
FUT
FUT | OPT
FUT
|
Ferrous (NYMEX)
FUT
Other
FUT
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Real Estate Products Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Block Trades
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Weather Products Homepage | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Block Trades
Temperature (CME)
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
FUT | OPT
|
Hurricanes (CME)
FUT | OPT
FUT | OPT
FUT | OPT
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Icon Key:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Get customized historical data with DataMine
|
Contact Us
CME Group/Chicago HQ
Main Switchboard
Local: 312-930-1000
Toll Free: 866-716-7274
Global Customer Contacts
Customer Service:
Product inquiries, website issues,
and specific questions
Phone: 312-930-2316
Toll Free: 800-331-3332
E-mail: info@cmegroup.com
More CME Group Direct Lines
Phone list by department
Global


|