Felix Neko

Братцы, а не работал ли кто с библиотекой fastkafka? Я создал свой consumes-метод: @kafka_app.consumes(topic="example_topic", auto_offset_reset="earliest", enable_auto_c...

Любезные братья! А что бы почитать/посмотреть по устройству Spark, чтобы как следует укрепиться в теории? Чтобы мне там рассказали, что такое Fetch и Shuffle. Чтобы вбили в м...

Братцы, нужны советы мудрые. Решил я развернуть у себя на локальном хосту отладочкую Кафку. Чтобы на ней тестировать своё приложение. Взял я docker-compose.yaml от bitnami. ...

Джентельмены, а не пользовался ли кто koalas? Есть ли там аналог SQL-ных оконных функций с партиционированием по заданным колонкам? Ну, которые PARTITION BY + OVER + row_coun...

Братцы, выручайте. Хочу я сделать скрипт, который будет записывать небольшой spark-датафрейм в kafka-очередь – и завершаться. Запись у меня вполне себе происходит (по крайней...

Братцы, мне опять нужны советы мудрые. Хочу я использовать Datastax Cassandra Connector в своём pyspark-приложении. В режиме .master("yarn"). И подключаться к Кассандре по SS...

Братцы, нужна помощь квалифицированная. Хочу я сгенерировать (и загнать в PySpark) несколько датафреймов с колонками сложных типов: STRUCT/MAP/ARRAY. Имею спросит: а как это п...

Братцы, а доводилось ли кому настраивать kerberos-авторизацию в Hadoop-кластере с виндовой машины? А то поставил я себе hadoop на виндовую тачку, поставил winutils, прописал ...

Братцы, кто пользовался JKS (Java KeyStore) — нужен ликбез. Верно ли я понимаю, что это какой-то централизованный репозиторий, развёрнутый как отдельный сервис? К которому се...

Братцы, не доводилось ли кому работать с Jira через Atlassian Python API? А то я пытаюсь создать JIRA-задачу: from atlassian import Jira jira = Jira( url='h...

Братцы, нужны советы мудрые. Создал я декларативный объект (экземпляр класса-наследника Base). И хочу этот объект записать в базу с заданным id, чтобы он перезаписал тот объе...

Братцы, а посоветуйте вводный курс по Clickhouse? Хочется что-нибудь вроде курса Ильи Фофанова по Postgres — только про Clickhouse. Чтобы не просто рассказывали, какие возмож...

Джентельмены, а не приходилось ли кому-нибудь использовать визуальные GUI для составления сложных SQL-запросов? Ну, с хитрыми группировками, многоступенчатыми JOINами, многажд...

Братцы, вы умные, вы знаете. Хочу я запустить spark operator на кубер-кластере. А в нём, стало быть, приложение на Python, которое создаёт spark-контекст и что-то в нём делае...

Джентельмены! Я тут начал куберу учиться, поставил Virutalbox, поставил себе minikube на локальную машину, делаю kubectl get componentstatuses — а мне пишут: scheduler ...

Няши, вы умные, вы знаете. Хочу я начать играться с Кафкой через kafka-python. Подняв, стало быть, брокер-сервер из docker-compose от bitnami (вроде это стандартный способ зав...

Джентельмены! А не подключался ли кто из вас к Impala из-под pyspark, чтобы там по-папски со spark-датафреймами работать? Имею спросить: а каким движком вы для этого пользова...

Братцы, а что почитать-посмотреть по настройке kerberos (обычного, MIT KRB5)? Интересуют не теоретические тонкости шифрования и порядок обмена ключами, а именно практика. В см...

Приветик, зайки! А не поделится ли кто со мной Cloudera Quickstart VM с CDH 7.x? ---- С уважением, ваш Феликс (потомственный кисъ)

Джентельмены, а вот скажите такую штуку. Есть в Spark SQL такая конструкция: LOAD DATA LOCAL INPATH /path/to/local/data. Собственно, имею спросить: - если у меня локальная sp...