Agora que o 4.0 é público, posso editar esta pergunta e perguntar novamente. Esse código funciona na versão 3.2 e em versões anteriores, mas na 4.0 eu recebo um alertView dizendo "Este filme não pôde ser reproduzido".

ivar webView

//in viewDidLoad
self.webView =  [[UIWebView alloc] initWithFrame:[[UIScreen mainScreen] applicationFrame]];

webView.scalesPageToFit = YES;
webView.delegate = self;

// in tableView didSelectRowAtIndexPath

// url contains a video from web 
NSURL *url = [NSURL URLWithString:@"http://www.somevalid.td/validmovie.mp4"];
[webView loadRequest:[NSURLRequest requestWithURL:url]];

No log, ele diz "definindo o caminho do filme (nulo)"