Делаем кастомное параллельное чтение по JDBC в Spark 3.0.1 Привет, Хабр! Мы — команда DATA ОАТС в билайн. В э…
Делаем кастомное параллельное чтение по JDBC в Spark 3.0.1 Привет, Хабр! Мы — команда DATA ОАТС в билайн. В этой статье расскажем о кейсе, когда стандартный Spark JDBC не справился с параллельным чтением огромной таблицы из ClickHouse, и мы написали свой «мини-движок». Под катом — разбор ограничений, схема с пулом потоков на экзекуторах и опыт, который может пригодиться не только для ClickHouse.... https://clck.ru/3PrHqN
Автор: Habr все новости об IT