Gaia DR3 Sternkatalog

Deutsch | English notes are included below.

NEOCP Machine kann einen lokalen Gaia-DR3-Ausschnitt erzeugen. Vorgabe ist G<=15; ein anderer Grenzwert kann dem Skript uebergeben werden.

Wenn der Katalog unter %APPDATA%\NEOCPMachine\cache\gaia_dr3\g15 vorhanden ist, nutzt die interaktive Sternkarte ihn automatisch fuer kleine Bildfelder bis 3 Grad. Bei groesseren Feldern bleibt BigSky aktiv, damit die Karte schnell bleibt.

python tools\build_gaia_catalog.py 15

Der Katalog wird in RA-Kacheln als Parquet gespeichert. Parquet ist ein spaltenorientiertes Dateiformat: Programme koennen nur die benoetigten Spalten und Zeilenbereiche lesen, statt die komplette Datei in den Speicher zu laden. Das ist fuer Sternkarten wichtig, weil immer nur ein kleines RA/Dec-Bildfeld gebraucht wird.

Jede Kachel enthaelt source_id, ra, dec, phot_g_mean_mag, phot_bp_mean_mag, phot_rp_mean_mag, parallax, pmra und pmdec.

Effizient einlesen

Fuer Sternkarten sollte immer zuerst nach RA/Dec-Bildfeld gefiltert werden. Das vermeidet, den gesamten Katalog in den Speicher zu laden.

import pyarrow.dataset as ds
import pyarrow.compute as pc

dataset = ds.dataset(r"C:\Users\Nutzer\AppData\Roaming\NEOCPMachine\cache\gaia_dr3\g15\tiles", format="parquet")
field = dataset.to_table(
    columns=["source_id", "ra", "dec", "phot_g_mean_mag"],
    filter=(pc.field("ra") >= 245.0) & (pc.field("ra") < 246.0) &
           (pc.field("dec") >= -31.0) & (pc.field("dec") <= -29.0),
)

Hinweise

Der Lauf ist wiederaufnehmbar: vorhandene Kacheln werden uebersprungen. Fuer Tests kann --max-tiles 1 genutzt werden.

Die dynamische Dokumentation des erzeugten Katalogs liegt nach dem Lauf im jeweiligen Katalogordner als index.html.

English Summary

NEOCP Machine can build a local Gaia DR3 subset. The default limit is G<=15. Files are stored as RA tiles in Parquet format.

If the catalog exists below %APPDATA%\NEOCPMachine\cache\gaia_dr3\g15, the interactive chart automatically uses it for fields up to 3 degrees. Wider fields stay on BigSky for speed.

Parquet is a column-oriented file format. A star chart can read only the needed columns and RA/Dec range instead of loading the whole catalog. This keeps chart rendering practical for large catalogs.

The generated catalog folder contains a dynamic index.html with tile list, row counts and efficient loading examples.