<div class="gmail_quote">On Sun, Jan 22, 2012 at 11:55 AM, Balazs Kelemen <span dir="ltr"><<a href="mailto:kbalazs@webkit.org">kbalazs@webkit.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

  
    
  
  <div bgcolor="#FFFFFF" text="#000000"><div><div class="h5">As the goal is to test "real world" use case I think it can be even
    better to simply load the sites from network.</div></div>
    I see only two disadvantage of that but neither of them are blocker:<br>
       1. The sites changing over time. However, as this would be a
    smoke test (and not a regtest or a perf test) I don't think it's a
    big problem<br>
       2. Cannot test offline. Well, I don't think taking part in the
    development of WebKit is possible without being online anyway :)<br>
    Do you see other disadvantages?</div></blockquote><div><br></div><div>Loading over a network connection is slower.  Especially if you expect developers to run these tests locally, this could be a serious time sink.</div>
<div><br></div><div>Loading real-world sites over a real network connection adds numerous possible flakiness/failure sources.  I would never use something like this as part of an automated system.</div><div><br></div><div>
Arguably, it's not kind to site authors to constantly reload their real sites as part of an automated testing program.</div><div><br></div><div>From experience using offline copies of popular sites for testing in both Firefox and Chrome, I strongly suggest you go the offline route.</div>
<div><br></div><div>PK </div></div>