Garrick Aden-Buie 2 лет назад
Родитель
Сommit
051b60b922
Не найден GPG ключ соответствующий данной подписи
3 измененных файлов: 23 добавлений и 21 удалений
  1. +2
    -0
      process/R/open_dataset.R
  2. +2
    -2
      process/_targets.R
  3. +19
    -19
      process/_targets/meta/meta

+ 2
- 0
process/R/open_dataset.R Просмотреть файл

cf_open_dataset_db <- function(table, ..., path = table, dir = "data-prep") { cf_open_dataset_db <- function(table, ..., path = table, dir = "data-prep") {
pq <- cf_open_dataset(path, ..., dir = dir) pq <- cf_open_dataset(path, ..., dir = dir)


table <- fs::path_file(table)

con <- duckdb_global_con() con <- duckdb_global_con()
duckdb::duckdb_register_arrow(con, table, pq) duckdb::duckdb_register_arrow(con, table, pq)
dplyr::tbl(con, table) dplyr::tbl(con, table)

+ 2
- 2
process/_targets.R Просмотреть файл

path_officers = path_data_prep_officers, path_officers = path_data_prep_officers,
path_receipts = path_data_prep_receipts, path_receipts = path_data_prep_receipts,
path_expenditures = path_data_prep_expenditures, path_expenditures = path_data_prep_expenditures,
path_candidate_listing = path_candidate_listing,
path_candidate_listing = path_candidate_listing_raw,
path_voters = NULL # path_voters_parquet path_voters = NULL # path_voters_parquet
), ),
format = "parquet" format = "parquet"


tar_target(committees, prepare_committees(cover_raw, report_list)), tar_target(committees, prepare_committees(cover_raw, report_list)),


tar_target(donations, prepare_donations(path_data_prep_receipts, report_list)),
# tar_target(donations, prepare_donations(path_data_prep_receipts, report_list)),


# Outside data sources ----- # Outside data sources -----
tar_target(candidate_listing_raw, get_candidate_listing(2016:2023)), tar_target(candidate_listing_raw, get_candidate_listing(2016:2023)),

+ 19
- 19
process/_targets/meta/meta
Разница между файлами не показана из-за своего большого размера
Просмотреть файл


Загрузка…
Отмена
Сохранить