Обработка XML в Python: руководство по управлению взаимодействующими данными

Что такое XML?

Extensible Markup Language (XML) — это язык разметки, очень похожий на HTML или SGML. Рекомендован Консорциумом Всемирной паутины (W3C) и доступен как открытый стандарт.

XML крайне полезен для отслеживания небольших и средних объемов данных без необходимости SQL-основы.

Архитектуры и API парсеров XML

Стандартная библиотека Python предоставляет минимальный, но полезный набор интерфейсов для работы с XML.

Два самых основных и широко используемых API для XML-данных — это интерфейсы SAX и DOM.

• Simple API for XML (SAX) — вы регистрируете колбэки для интересующих событий и затем позволяете парсеру пройти через документ. Полезно, когда документы большие или есть ограничения по памяти: парсер обрабатывает файл по мере чтения с диска, и весь файл никогда не хранится в памяти.

• Document Object Model (DOM) API — рекомендация W3C, при которой весь файл читается в память и хранится в иерархической (древовидной) форме для представления всех особенностей XML-документа.

SAX очевидно не может обрабатывать информацию так быстро, как DOM, при работе с большими файлах. С другой стороны, использование DOM исключительно может действительно убить ресурсы, особенно если используется на множестве маленьких файлов.

SAX — только для чтения, тогда как DOM позволяет изменения в XML-файле. Поскольку эти два API буквально дополняют друг друга, нет причин не использовать оба для больших проектов.

Для всех примеров XML-кода будем использовать простой XML-файл movies.xml:

<collection shelf="New Arrivals">
  <movie title="Enemy Behind">
    <type>War, Thriller</type>
    <format>DVD</format>
    <year>2003</year>
    <rating>PG</rating>
    <stars>10</stars>
    <description>Talk about a US-Japan war</description>
  </movie>
  <movie title="Transformers">
    <type>Anime, Science Fiction</type>
    <format>DVD</format>
    <year>1989</year>
    <rating>R</rating>
    <stars>8</stars>
    <description>A scientific fiction</description>
  </movie>
  <movie title="Trigun">
    <type>Anime, Action</type>
    <format>DVD</format>
    <episodes>4</episodes>
    <rating>PG</rating>
    <stars>10</stars>
    <description>Vash the Stampede!</description>
  </movie>
  <movie title="Ishtar">
    <type>Comedy</type>
    <format>VHS</format>
    <rating>PG</rating>
    <stars>2</stars>
    <description>Viewable boredom</description>
  </movie>
</collection>

Парсинг XML с SAX API

SAX — стандартный интерфейс для событийно-ориентированного XML-парсинга. Парсинг с SAX обычно требует создания собственного ContentHandler путем подклассификации xml.sax.ContentHandler.

Ваш ContentHandler обрабатывает конкретные теги и атрибуты ваших версий XML. Объект ContentHandler предоставляет методы для обработки различных событий парсинга. Парсер-владелец вызывает методы ContentHandler по мере парсинга XML-файла.

Методы startDocument и endDocument вызываются в начале и конце XML-файла. Метод characters(text) получает символьные данные XML-файла через параметр text.

ContentHandler вызывается в начале и конце каждого элемента. Если парсер не в режиме пространства имен, вызываются методы startElement(tag, attributes) и endElement(tag); иначе — соответствующие startElementNS и endElementNS. Здесь tag — тег элемента, attributes — объект Attributes.

Метод make_parser

Создает новый объект парсера и возвращает его. Парсер будет первого типа, который система найдет.

xml.sax.make_parser([parser_list])

Параметры:

• parser_list — опциональный аргумент: список парсеров для использования, все должны реализовывать метод make_parser.

Метод parse

Создает SAX-парсер и использует его для парсинга документа.

xml.sax.parse(xmlfile, contenthandler[, errorhandler])

Параметры:

• xmlfile — имя XML-файла для чтения.

• contenthandler — должен быть объектом ContentHandler.

• errorhandler — если указан, должен быть объектом SAX ErrorHandler.

Метод parseString

Создает SAX-парсер и парсит указанную XML-строку.

xml.sax.parseString(xmlstring, contenthandler[, errorhandler])

Параметры: аналогичны parse, но вместо файла — строка.

Пример SAX-парсинга

#!/usr/bin/python
import xml.sax

class MovieHandler(xml.sax.ContentHandler):
    def __init__(self):
        self.CurrentData = ""
        self.type = ""
        self.format = ""
        self.year = ""
        self.rating = ""
        self.stars = ""
        self.description = ""

    # Вызов при начале элемента
    def startElement(self, tag, attributes):
        self.CurrentData = tag
        if tag == "movie":
            print("*****Movie*****")
            title = attributes["title"]
            print("Title:", title)

    # Вызов при конце элемента
    def endElement(self, tag):
        if self.CurrentData == "type":
            print("Type:", self.type)
        elif self.CurrentData == "format":
            print("Format:", self.format)
        elif self.CurrentData == "year":
            print("Year:", self.year)
        elif self.CurrentData == "rating":
            print("Rating:", self.rating)
        elif self.CurrentData == "stars":
            print("Stars:", self.stars)
        elif self.CurrentData == "description":
            print("Description:", self.description)
        self.CurrentData = ""

    # Вызов при чтении символов
    def characters(self, content):
        if self.CurrentData == "type":
            self.type = content
        elif self.CurrentData == "format":
            self.format = content
        elif self.CurrentData == "year":
            self.year = content
        elif self.CurrentData == "rating":
            self.rating = content
        elif self.CurrentData == "stars":
            self.stars = content
        elif self.CurrentData == "description":
            self.description = content

if __name__ == "__main__":
    # Создание XMLReader
    parser = xml.sax.make_parser()
    # Отключение пространств имен
    parser.setFeature(xml.sax.handler.feature_namespaces, 0)
    # Переопределение стандартного ContextHandler
    Handler = MovieHandler()
    parser.setContentHandler(Handler)
    parser.parse("movies.xml")

Результат:

*****Movie*****
Title: Enemy Behind
Type: War, Thriller
Format: DVD
Year: 2003
Rating: PG
Stars: 10
Description: Talk about a US-Japan war
*****Movie*****
Title: Transformers
Type: Anime, Science Fiction
Format: DVD
Year: 1989
Rating: R
Stars: 8
Description: A scientific fiction
*****Movie*****
Title: Trigun
Type: Anime, Action
Format: DVD
Rating: PG
Stars: 10
Description: Vash the Stampede!
*****Movie*****
Title: Ishtar
Type: Comedy
Format: VHS
Rating: PG
Stars: 2
Description: Viewable boredom

Для полной документации SAX API обратитесь к стандартным Python SAX APIs.

Парсинг XML с DOM API

Document Object Model (DOM) — крос-языковой API от W3C для доступа и модификации XML-документов.

DOM крайне полезен для приложений с произвольным доступом. SAX позволяет видеть только один фрагмент документа за раз. Если вы смотрите на один SAX-элемент, у вас нет доступа к другому.

Самый простой способ быстро загрузить XML-документ и создать объект minidom с помощью модуля xml.dom. Объект minidom предоставляет простой метод парсера, быстро создающий DOM-дерево из XML-файла.

Пример вызывает функцию parse(file[, parser]) объекта minidom для парсинга XML-файла, обозначенного file, в объект DOM-дерева.

#!/usr/bin/python
from xml.dom.minidom import parse
import xml.dom.minidom

# Открытие XML-документа с помощью minidom парсера
DOMTree = xml.dom.minidom.parse("movies.xml")
collection = DOMTree.documentElement

if collection.hasAttribute("shelf"):
    print("Root element : %s" % collection.getAttribute("shelf"))

# Получение всех фильмов в коллекции
movies = collection.getElementsByTagName("movie")

# Вывод деталей каждого фильма
for movie in movies:
    print("*****Movie*****")
    if movie.hasAttribute("title"):
        print("Title: %s" % movie.getAttribute("title"))
    type = movie.getElementsByTagName('type')[0]
    print("Type: %s" % type.childNodes[0].data)
    format = movie.getElementsByTagName('format')[0]
    print("Format: %s" % format.childNodes[0].data)
    rating = movie.getElementsByTagName('rating')[0]
    print("Rating: %s" % rating.childNodes[0].data)
    description = movie.getElementsByTagName('description')[0]
    print("Description: %s" % description.childNodes[0].data)

Результат:

Root element : New Arrivals
*****Movie*****
Title: Enemy Behind
Type: War, Thriller
Format: DVD
Rating: PG
Description: Talk about a US-Japan war
*****Movie*****
Title: Transformers
Type: Anime, Science Fiction
Format: DVD
Rating: R
Description: A scientific fiction
*****Movie*****
Title: Trigun
Type: Anime, Action
Format: DVD
Rating: PG
Description: Vash the Stampede!
*****Movie*****
Title: Ishtar
Type: Comedy
Format: VHS
Rating: PG
Description: Viewable boredom

Для полной документации DOM API обратитесь к стандартным Python DOM APIs.