Yeah, I could see how that would be the case.  I expect it would be possible to set it up to NOFOLLOW all the expensive links, but I doubt trac does that out of the box, and it&#39;s probably not worth the effort.<div><br>
</div><div>I need to find a better solution for web-based search of our code.  Maybe the magical LXR stuff in the works at Mac OS Forge (mentioned in the other thread) will be the solution.</div><div><br></div><div>Thanks for your quick response.</div>
<div><br></div><div>-eric</div><div><div><div><br><div class="gmail_quote">On Tue, Dec 1, 2009 at 1:41 AM, Mark Rowe <span dir="ltr">&lt;<a href="mailto:mrowe@apple.com">mrowe@apple.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div style="word-wrap:break-word"><div><div></div><div class="h5"><br><div><div>On 2009-11-30, at 22:36, Eric Seidel wrote:</div><br><blockquote type="cite">It&#39;s bothered me for a while that I can&#39;t just type &quot;trac webkit Document.cpp&quot; into Google and have it give me a trac link to our Document.cpp page.<div>
<a href="http://trac.webkit.org/browser/trunk/WebCore/dom/Document.cpp" target="_blank">http://trac.webkit.org/browser/trunk/WebCore/dom/Document.cpp</a><br>
<div><br></div><div>I checked <a href="http://trac.macosforge.org/robots.txt" target="_blank">http://trac.macosforge.org/robots.txt</a> tonight and low and behold we disallow &quot;browser/&quot; (which is where all these links live).  Curious if this is intentional, and if we should change this setting?</div>
</div></blockquote><br></div></div></div><div>Web crawler indexing of Trac is seriously painful for the servers involved.  The entire SVN history of the repository is accessible.  File content.  Changes.  Annotations.  Everything.  That&#39;s not cheap to compute and serve up.</div>
<div><br></div><font color="#888888"><div>- Mark</div><br></font></div></blockquote></div><br></div></div></div>