chevron_left

DS検定（データサイエンティスト検定）対策講座
PREMIUM
第7回

文字起こし

データエンジニアリング⼒

2024年12月30日 40min
データエンジニアリング⼒ play_arrow おためし受講

スライド資料

会員登録して、全てのスライドを見よう

1 / 56

授業の概要

第7回「データエンジニアリング⼒」

本授業では以下について学びます。
 

  • システム構築と運用

    • クラスタ構成で性能向上・高可用性を実現

  • データベース管理

    • バックアップ種類:
      • フルバックアップ（全データ保存）
      • 差分・増分バックアップ（変更分のみ保存）
    • 正規化: データ重複を排除し、整合性を向上（第1〜第3正規化）

  • 分散処理技術

    • Hadoop: 大規模データをストレージで分散処理
    • Spark: メモリ上で高速分散処理

  • データ収集と通信

    • Webクローラー・スクレイピングでデータ収集
    • 通信プロトコル: HTTP/FTPを利用したデータ転送

  • データフォーマットとエクスポート

    • フォーマット: CSV、JSON、XML
    • エクスポート: 指定形式でデータ保存

こんな人にオススメ

DS検定受験者、データサイエンティストを目指している方、実務に役立てたい方

担当の先生／パーソナリティ

チャプター

play_arrow
本授業で学ぶこと
00:28
play_arrow
サーバーについて
02:19
play_arrow
確認問題①
01:00
play_arrow
SDK・API
00:54
play_arrow
Webクローラー・スクレイピング
01:19
play_arrow
通信機能（プロトコル）
01:13
play_arrow
確認問題②
01:10
play_arrow
分散技術
02:26
play_arrow
ER図
02:06
play_arrow
確認問題③
01:14
play_arrow
SQL
05:23
play_arrow
確認問題④
01:26
play_arrow
結合
02:44
play_arrow
確認問題⑤
00:59
play_arrow
正規化
01:18
play_arrow
ホワイトボックステスト・ブラックボックステスト
02:19
play_arrow
確認問題⑥
00:34
play_arrow
セキュリティの3要素
02:07
play_arrow
暗号化
01:55
play_arrow
プロンプト
02:05
play_arrow
確認問題⑦
00:57
play_arrow
章末問題