Как извлечь объект JSON, который был определен в блоке javascript HTML-страницы, используя Python?

Я загружаю HTML-страницы с данными, определенными в них следующим образом:

...     window.blog.data = {"activity":{"type":"read"}};  ...

Я хотел бы извлечь объект JSON, определенный в 'window.blog.data», Есть ли более простой способ, чем его разбор вручную? (Я смотрю в Красивое Мыло, но могукажется, не найти метод, который будет возвращать точный объект без разбора)

Спасибо

Редактировать: Было бы возможно и правильнее сделать это с помощью браузера без заголовка Python (например, Ghost.py)?

 user97195610 нояб. 2012 г., 21:53
@cheeken Есть ли у Selenium driver локальная библиотека? Я'Я не буду зависеть от онлайн API ...
 Pratik Mandrekar10 нояб. 2012 г., 18:22
Если вы можете добраться до точки, где вы можете разделить на=Вы можете проанализировать JSON в объект Python, как показано ниже >>> импорт json >>> x = '{"a":{"До нашей эры"}}» >>> тип (х) <тип 'ул '> >>> y = json.loads (x) >>> y {u'a ': {u'b ': u'c '}} >>> тип (у) <тип 'ДИКТ '>
 user97195610 нояб. 2012 г., 20:03
Проблема с разбором заключается в нахождении конечной точки ... потому что я не уверен, что </ Скрипт> придет сразу после JSON ближе.
 cheeken10 нояб. 2012 г., 20:46
Насколько надежное решение вы ищете? Относительно простым (хотя и немного вычислительно) подходом было бы загрузить драйвер Selenium, который будет обрабатывать все ваши разборы и возвращать переменную 'с ценностью.

Ответы на вопрос(3)

Нечто подобное может работать:

import re

HTML = """ 

    
    ...
    <script type="text/javascript"> 
window.blog.data = {"activity":
    {"type":"read"}
    };
    ...
    </script> 
    
    
    ...
    
    
"""

JSON = re.compile('window.blog.data = ({.*?});', re.DOTALL)

matches = JSON.search(HTML)

print matches.group(1)

и в итоге я использовал селен с фантомами. Это'немного хакер, и я не могЯ не могу понять, правильный метод ожидания до, но неявное ожидание пока работает для меня нормально.

from selenium import webdriver
import json
import re

url = "http..."
driver = webdriver.PhantomJS(service_args=['--load-images=no'])
driver.set_window_size(1120, 550)
driver.get(url)
driver.implicitly_wait(1)
script_text = re.search(r'window\.blog\.data\s*=.*<\/script>', driver.page_source).group(0)

# split text based on first equal sign and remove trailing script tag and semicolon
json_text = script_text.split('=',1)[1].rstrip('').strip().rstrip(';').strip()
# only care about first piece of json
json_text = json_text.split("};")[0] + "}"
data = json.loads(json_text)

driver.quit()

`` `

Решение Вопроса

вам также нужен парсер JavaScript здесь. Кстати, некоторые литералы объекта javascript не являются допустимыми json (хотя в вашем примере литерал также является допустимым объектом json).

В простых случаях вы могли бы:

извлекатьs текст с использованием парсера htmlПредположим, чтоwindow.blog... это одна строка или нет';' внутри объекта и извлекать литерал объекта javascript, используя простые строковые манипуляции или регулярное выражениеПредположим, что строка является допустимым JSON и проанализировать его с помощью модуля JSON

Пример:

#!/usr/bin/env python
html = """
extract javascript object as json

// ..
window.blog.data = {"activity":{"type":"read"}};
// ..

some other html here """ import json import re from bs4 import BeautifulSoup # $ pip install beautifulsoup4 soup = BeautifulSoup(html) script = soup.find('script', text=re.compile('window\.blog\.data')) json_text = re.search(r'^\s*window\.blog\.data\s*=\s*({.*?})\s*;\s*

Не нужно трактовать объект буквально (obj) как объект JSON. Чтобы получить необходимую информацию,obj можно посещать рекурсивно, как и другие узлы аст. Это позволит поддерживать произвольный код JavaScript (который может быть проанализированslimit).

, script.string, flags=re.DOTALL | re.MULTILINE).group(1) data = json.loads(json_text) assert data['activity']['type'] == 'read'

Если предположения неверны, код не работает.

Чтобы ослабить второе предположение, вместо регулярного выражения можно использовать синтаксический анализатор JavaScript, например, (slimitпредложено @approximatenumber):

from slimit import ast  # $ pip install slimit
from slimit.parser import Parser as JavascriptParser
from slimit.visitors import nodevisitor

soup = BeautifulSoup(html, 'html.parser')
tree = JavascriptParser().parse(soup.script.string)
obj = next(node.right for node in nodevisitor.visit(tree)
           if (isinstance(node, ast.Assign) and
               node.left.to_ecma() == 'window.blog.data'))
# HACK: easy way to parse the javascript object literal
data = json.loads(obj.to_ecma())  # NOTE: json format may be slightly different
assert data['activity']['type'] == 'read'

Не нужно трактовать объект буквально (obj) как объект JSON. Чтобы получить необходимую информацию,obj можно посещать рекурсивно, как и другие узлы аст. Это позволит поддерживать произвольный код JavaScript (который может быть проанализированslimit).

 user107118211 мар. 2016 г., 00:01
@JF Себастьян тына 100% верно. Это'гораздо легче увидеть это, когдане 3 утра :) яВ какой-то момент я обновлю свой сухой ответ, чтобы исправить эти ошибки
 user7930703 нояб. 2014 г., 10:03
Привет @ J.F. Себастьян, что если у меня есть... web.something.init({JsonObject}); ...? Здесь дело не в том, чтобы получить объект, определенный в некоторой переменной, а в том, чтобы получить объект, используемый в качестве аргумента внутри тегов скрипта. Обратите внимание, что подобный случай можно найти, когда веб-сайты используют javascript для динамической загрузки веб-содержимого через json во время загрузки страницы.
 jfs10 мар. 2016 г., 09:59
@ user1071182: 1 - неверно полагать, что первый= знак в скрипте правильный. 2- опятьscript.string код JavaScript, и поэтому вы не должныНе нужно удалять HTML-сущности. Убедись, что ты'не портит ваши данные JSON.
 jfs27 июл. 2014 г., 22:52
@BrianLCartwright: код работает как есть. Ты нене нужно это менять. Должно работать безstr(soup.find.., Если вы хотите узнать, что происходит в вашем случаеКак спросить
 jfs10 мар. 2016 г., 16:44
@ user1071182: яМы обновили ответ, чтобы использовать синтаксический анализатор javascript для извлечения литерала объекта javascript. Это делает ненужными регулярные выражения.
 user107118210 мар. 2016 г., 08:31
@JF Себастьян, я использовалsplit('=',1) разделить только один раз на первый=, Я'м при условии, что данные в форматеwindow.blog.data =  и мы'мы уже искали имя переменной. Я в конечном итоге с помощьюjson_text = re.sub(r'&#\d+;','',json_text) чтобы устранить все специальные символы, но этохорошо знать правильный способ сделать это :)
 user107118209 мар. 2016 г., 23:31
Я использовал альтернативный более читаемыйjson_text = script.text.split('=',1)[1].rstrip(';').strip() линия для разделения на основе первого= и удалите последнюю точку с запятой. Я также должен был удалить некоторые апостолы HTML с точкой с запятой в нихjson_text = json_text.replace(''','') перед отправкой в JSON
 jfs09 мар. 2016 г., 23:47
@ user1071182: 1-split('=') может разделить на неправильное= (может быть несколько= знаки в сценарии) 2-BeautifulSoup должен декодировать уже (где это уместно) объекты HTML, такие как', Если это не такт тогда ты не долженделать это вслепую: от вашего приложения зависит, нужно ли вам декодировать или нет (data может быть произвольным текстом JSON). 3 - если вы думаете, что вам нужно декодировать HTML-сущности, тоиспользованиеimport html; s = html.unescape(''') вместо
 jfs01 дек. 2014 г., 18:30
@ user79307: достаточно изменить регулярное выражение, которое извлекаетjson_text выше, если вы нене знаю как,задать новый вопрос
 Brian L Cartwright27 июл. 2014 г., 22:38
спасибо, это решило проблему, которая поставила меня в тупик - выделение json внутри скрипта на html-странице. Я заменилОкно \ .blog \ .data» с моим термином, который предшествовал json, но присвоение json_text на следующей строке выдало ошибку, сказав, что объект не будетвзять строковые функции (script.string). Поэтому я изменил script = str (soup.find (...)), и весь сценарий был одной длинной строкой. Тогда было легко использовать find, чтобы получить положение фраз до и после json, вырезать его и прочитать как json.

Ваш ответ на вопрос