Wie erstelle ich einen pg_trgm-Index mit SQLAlchemy for Scrapy?
Ich verwende Scrapy, um Daten aus einem Webforum zu entfernen. Ich speichere diese Daten in einer PostgreSQL-Datenbank mit SQLAlchemy. Die Tabelle und die Spalten sind in Ordnung, jedoch kann SQLAlchemy keinen Index für eine der Spalten erstellen. Ich versuche, mit gin einen Trigrammindex (pg_trgm) zu erstellen.
Der Postgresql-Code, mit dem dieser Index erstellt wird, lautet:
CREATE INDEX description_idx ON table USING gin (description gin_trgm_ops);
Der SQLAlchemy-Code, den ich zu meiner models.py-Datei hinzugefügt habe, lautet:
desc_idx = Index('description_idx', text("description gin_trgm_ops"), postgresql_using='gin')
Ich habe diese Zeile meiner models.py hinzugefügt, aber beim Einchecken von postgresql wurde der Index nie erstellt.
Below sind meine vollständigen models.py- und pipelines.py-Dateien. Bin ich dabei alles falsch ??
Jede Hilfe wäre sehr dankbar !!
models.py:from sqlalchemy import create_engine, Column, Integer, String, DateTime, Index, text
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.engine.url import URL
import settings
DeclarativeBase = declarative_base()
def db_connect():
return create_engine(URL(**settings.DATABASE))
def create_forum_table(engine):
DeclarativeBase.metadata.create_all(engine)
class forumDB(DeclarativeBase):
__tablename__ = "table"
id = Column(Integer, primary_key=True)
title = Column('title', String)
desc = Column('description', String, nullable=True)
desc_idx = Index('description_idx', text("description gin_trgm_ops"), postgresql_using='gin')
pipelines.pyfrom scrapy.exceptions import DropItem
from sqlalchemy.orm import sessionmaker
from models import forumDB, db_connect, create_forum_table
class ScrapeforumToDB(object):
def __init__(self):
engine = db_connect()
create_forum_table(engine)
self.Session = sessionmaker(bind=engine)
def process_item(self, item, spider):
session = self.Session()
forumitem = forumDB(**item)
try:
session.add(forumitem)
session.commit()
except:
session.rollback()
raise
finally:
session.close()
return item