3min阅读: Spark在AWS "centralized VPC Endpoint"环境下无法正常消费kinesis stream 数据

发现一年多没更新。 写这篇两个目的： 1. 记录一下一个比较有意思的错误 2. 借着这个错误一块读读代码分析下问题遇到了什么问题？在使用Spark Streaming(Glue) 消费Kinesis stream(下称kinesis)数据时...

3min阅读: 基于Outlook做办公自动化

最近有同事问我怎么结合Outlook来做自动化，简单聊聊遇到了什么问题？同事有一些例行任务需要用到Outlook, 比如： 不定期从Vendor通过Email收到数据文件， 进行校验和处理。 不定时收到服务器配置，需要在本地更新 特定邮...

3min阅读: 在AWS Glue中使用Py4j连接DB执行查询

本文目的就是说说Py4j， 连接DB查询就是个很常见的需求， 当个引子遇到了什么问题？受限于平台和AWS Glue本身的申请， 在仅使用Python时会遇到各种各的问题，尤其是依赖维护。举个例子：像pymssql这类需要编译的包，就够项目吃上...

了解一下SAML2.0

文章分成三个部分：第一部分简单介绍在AWS上配置以Azure AD作为认证方的关键配置第二部分介绍一下SAML2.0认证流程第三部分来讲一下SAML2 和 OAuth2 协议的区别。（不会涉及OIDC协议）文章均是个人理解，恳请扶正背景为什么...

懒人教程: 躺在床上使用台式机

用 Docker on Win10 WSL2 台式机来扩展 MBP 性能. 演示环境以Spark, Zeppelin 为例.演示 video link: 只能在电脑上看背景为什么要躺在床上用台式机? 懒! 能躺着绝不坐着! 穷! 目前在...

尝试解析下 Epub.js -- 一个在浏览器上渲染 Epub 图书的工具

一直在看 Epub 类型的图书， 很好奇一个 Epub 解析器是如果工作的。 碰巧看到了 Epub.js， 体验了一下还可以。 就尝试分析一下它的实现。本文会先介绍下 EPUB 格式,再来分析 Epubjs 的实现. 我前端经验仅限于了解常见...