Używam zarówno curl, jak i wget, aby pobrać ten adres URL:http://opinionator.blogs.nytimes.com/2012/01/19/118675/

W przypadku curl nie zwraca żadnego wyjścia, ale z wget zwraca całe źródło HTML:

Oto 2 polecenia. Użyłem tego samego agenta użytkownika i obydwaj pochodzą z tego samego adresu IP i śledzą przekierowania. Adres URL jest dokładnie taki sam. W przypadku zwinięcia powraca natychmiast po 1 sekundzie, więc wiem, że nie jest to problem z przekroczeniem limitu czasu.

curl -L -s "http://opinionator.blogs.nytimes.com/2012/01/19/118675/" --max-redirs 10000 --location --connect-timeout 20 -m 20 -A "Mozilla/5.0 (Windows NT 5.2; rv:2.0.1) Gecko/20100101 Firefox/4.0.1" 2>&1

wget http://opinionator.blogs.nytimes.com/2012/01/19/118675/ --user-agent="Mozilla/5.0 (Windows NT 5.2; rv:2.0.1) Gecko/20100101 Firefox/4.0.1" 

Jeśli NY Times może być maskowany, a nie zwracanie źródła do zwijania, to co może być inne w nagłówkach wysyłanych przez curl? Zakładałem, że ponieważ program użytkownika jest taki sam, żądanie powinno wyglądać dokładnie tak samo z obu tych żądań. Jakie inne „ślady” należy sprawdzić?