データエンジニア×リモート可

の採用・求人一覧

【職種名】 データエンジニア 【業務内容】 『SaaS+Database』サービスを支えるビッグデータ（数十TBオーダー）基盤の構築・改善 以下のいずれか、もしくは複数を対応いただきます。 - Webデータクローリングのためのパイプライン新設や改善 - データのクレンジングやエンリッチメント処理 - データの品質改善を目的とした品質モニタリング環境の構築 - スケーラブルかつコスト効果の高いデータ基盤への改善 - 将来的なデータサイエンス活用を踏まえたデータ基盤やデータ品質整備設計 ※従事すべき業務の変更の範囲：有り ■進捗管理 - AsanaとNotion を利用したアジャイル開発 ( 週 1 回 30 分の定例 mtg ) - 週1回のメンターとの1on1による技術相談 - データベース技術勉強会（ 週1回60分 ） 【主な技術スタック】 - データ収集 - Python（Scrapy） - AWS Fargate for Amazon ECS - Amazon Managed Workflows for Apache Airflow - データストア - Amazon S3 - Amazon Aurora PostgreSQL - データトランスフォーム - Apache Spark（PySparkがメイン。一部Scala Spark） - Databricks - その他 - GitHub - Slack - Notion - Asana - Google Workspace

P-003 【業務内容】 データ収集のパイプラインや基盤の構築をメインで担当する役割になり、インターネット上にある非構造化のデータを収集、クレンジング、モデリングしプロダクト利用可能な状態にする等の活動をしています。データ収集システムもすべてフレームワーク化しており都度都度0から作るのではなく、入力と出力を合わせるだけでデータのクレンジングやモデリングが自動で走る仕組み等を構築しております。 最近ではデータのサイズも大きくなり、データプラットフォームの構築や分散システムを導入して分析等も実際にデータエンジニアリングチームで行っているので、希望すればデータアナリティクスやサイエンスの領域にも関われる環境です。特にLLMの活用に力を入れており、如何にLLMを使い難しい非構造化データを処理できるかを検証するプロジェクト等もあったりします。 【テックスタック】 [フロントエンド] - 言語：TypeScript, React - ライブラリ：Storybook, jest - ホスティング：Amplify [サーバーサイド] - インフラ：AWS, ElasticBeanstalk - DB：Aurora, ElasticSearch - 言語：Node.js, Python - フレームワーク：Express - 監視：DataDog - その他：AWS Lambda, AWS Batch, AWS API GateWay, AWS Glue [データ分析] - OpenAI - Amazon Bedrock - OpenSearch - SageMaker - Athena - Glue

開発言語：Python/SQL DWH　 ：Snowflake ETL 　　：Airbyte, dbt, Garouparoo(Revese) BI ：Steep 基盤思想 ：モダンデータスタック アーキテクチャ　　：モジュラモノリス パブリッククラウド：AWS(メイン), GCP フロントエンド　　：TypeScript, Next.JS(App Router), Tailwind CSS, AWS Amplify バックエンド　 ：Go GraphQL　　　　　：PostGraphile, GraphQL Mesh コンテナ　　　　　：ECS on Fargate データベース　　　：Aurora Serverless v2(PostgreSQL) , DynamoDB 認証　　　　　　　：NextAuth ソースコード管理　：GitHub CI/CD　　　　　　 ：GitHub Actions ペアプロ　　　　　：GitHub Copilot / ChatGPT IaC　　　　　　　 ：CDK for Terraform コミュニケーション：Google Workspace / Slack デザイン　　　　　：Figma 情報共有　　　　　：Notion チケット管理　　　：Linear app テックブログ　　　：Zenn(Publication) 基本リモートワーク or 東京オフィス(秋葉原)

現在進めているクローズドβ版の開発・改善やオープンβ版（正式リリースできる状態）の開発について、中長期でご助力頂ける方を探しております。 - 「フローライトデータ」のクローズドβ版・オープンβ版のインフラ・バックエンド全体の設計・開発： （1）Google Cloudのデータ関連サービス、Golangを用いたデータ活用基盤全体の設計・開発、データセキュリティやデータプライバシーを意識した対策の実施等 （2）データソースとなる外部サービス・SaaSやデータクラウドプラットフォーム（Snowflake等）とのAPI連携によるデータ転送ワークフロー（ETL/ELT）の設計・開発 - 業務委託 / 副業 - フルリモート（※1） ※1 代表の田中は京都、現メンバーは関東近郊に居住しています。 - 12h/週〜 応相談（※2） ※2 週1回の定例MTGへの参加は必須。捗共有及びタスクや今後の開発方針・内容に関するディスカッション・認識合わせを実施します。直近は現メンバーの都合を踏まえ、毎週木曜23:00から1h程度の実施しておりますが、新たに参画頂く方のご都合を踏まえて改めて調整予定。 - 時給：最低時給〜応相談 ※3 ご経験・スキルセット、お願いする期待役割や稼働割合（コミット度合）を踏まえてご相談・決定できればと思います。ある程度稼働が安定してきた場合、ご希望があれば固定報酬（その時点の時給単価 x 目安稼働時間/月）とすることも可能です。 - 代表、および現メンバー2名（フロントエンドエンジニア、インフラ・バックエンドエンジニア）と連携を取って頂きます。 - コミュニケーション：Slack、Zoom - プロダクトデザイン：figma - プロジェクト管理：Repsona - ドキュメント・情報共有：Notion, Google Workspace（Google Drive) - ソース管理：Github - フロントエンド - 言語・FW - TypeScript - Vue（3系） - SCSS - その他 - vite - vitest - storybook - インフラ・バックエンド - 言語 - Golang - 環境：GCP、Docker、Git、コンテナ、Swagger etc