Hi all, I have a google ads -> Redshift connection with 7 Streams. I´ve set an Incremental sync mode (deduped + history), with a sync every 24 hours. I see the Redshift unblended cost is 450€ per day!!!!, which is impossible. Can you set a meeting with me to see what is the best practice on working with Redshift destination? Because as you can see in the logs below, it doesn´t load the data in one batch but runs every 5 seconds..
I cancelled it when we realized it writes on Redshift every 5 seconds.
This is what the engineer sent me
There is a query that run every 5 second(!!!!!!) that is the main cause of the mess we see:
INSERT INTO
indiana._airbyte_tmp_zyc_indiana_clickout (
_airbyte_ab_id,
_airbyte_data,
_airbyte_emitted_at
)
VALUES
($ 1, JSON_PARSE($ 2), $ 3),
($ 4, JSON_PARSE($ 5), $ 6),
($ 7, JSON_PARSE($ 8), $ 9),
($ 10, JSON_PARSE($ 11), $ 12),
($ 13, JSON_PARSE($ 14), $ 15),
($ 16, JSON_PARSE($ 17), $ 18),
($ 19, JSON_PARSE($ 20), $ 21),
($ 22, JSON_PARSE($ 23), $ 24),
($ 25, JSON_PARSE($ 26), $ 27),
($ 28, JSON_PARSE($ 29), $ 30),
($ 31, JSON_PARSE($ 32), $ 33),
($ 34, JSON_PARSE($ 35), $ 36),
($ 37, JSON_PARSE($ 38), $ 39),
($ 40, JSON_PARSE($ 41), $ 42),
($ 43, JSON_PARSE($ 44), $ 45),
($ 46, JSON_PARSE($ 47), $ 48),
($ 49, JSON_PARSE($ 50), $ 51),
($ 52, JSON_PARSE($ 53), $ 54),
($ 55, JSON_PARSE($ 56), $ 57),
($ 58, JSON_PARSE($ 59), $ 60),
($ 61, JSON_PARSE($ 62), $ 63),
($ 64, JSON_PARSE($ 65), $ 66),
($ 67, JSON_PARSE($ 68), $ 69),
($ 70, JSON_PARSE($ 71), $ 72),
($ 73, JSON_PARSE($ 74), $ 75),
($ 76, JSON_PARSE($ 77), $ 78),
($ 79, JSON_PARSE($ 80), $ 81),
($ 82, JSON_PARSE($ 83), $ 84),
($ 85, JSON_PARSE($ 86), $ 87),
($ 88, JSON_PARSE($ 89), $ 90),
($ 91, JSON_PARSE($ 92), $ 93),
($ 94, JSON_PARSE($ 95), $ 96),
($ 97, JSON_PARSE($ 98), $ 99),
($ 100, JSON_PARSE($ 101), $ 102),
($ 103, JSON_PARSE($ 104), $ 105),
($ 106, JSON_PARSE($ 107), $ 108),
($ 109, JSON_PARSE($ 110), $ 111),
($ 112, JSON_PARSE($ 113), $ 114),
($ 115, JSON_PARSE($ 116), $ 117),
($ 118, JSON_PARSE($ 119), $ 120),
($ 121, JSON_PARSE($ 122), $ 123),
($ 124, JSON_PARSE($ 125), $ 126),
($ 127, JSON_PARSE($ 128), $ 129),
($ 130, JSON_PARSE($ 131), $ 132),
($ 133, JSON_PARSE($ 134), $ 135),
($ 136, JSON_PARSE($ 137), $ 138),
($ 139, JSON_PARSE($ 140), $ 141),
($ 142, JSON_PARSE($ 143), $ 144),
($ 145, JSON_PARSE($ 146), $ 147),
($ 148, JSON_PARSE($ 149), $ 150),
($ 151, JSON_PARSE($ 152), $ 153),
($ 154, JSON_PARSE($ 155), $ 156),
($ 157, JSON_PARSE($ 158), $ 159),
($ 160, JSON_PARSE($ 161), $ 162),
($ 163, JSON_PARSE($ 164), $ 165),
($ 166, JSON_PARSE($ 167), $ 168),
($ 169, JSON_PARSE($ 170), $ 171),
($ 172, JSON_PARSE($ 173), $ 174),
($ 175, JSON_PARSE($ 176), $ 177),
($ 178, JSON_PARSE($ 179), $ 180),
($ 181, JSON_PARSE($ 182), $ 183),
($ 184, JSON_PARSE($ 185), $ 186),
($ 187, JSON_PARSE($ 188), $ 189),
($ 190, JSON_PARSE($ 191), $ 192),
($ 193, JSON_PARSE($ 194), $ 195),
($ 196, JSON_PARSE($ 197), $ 198),
($ 199, JSON_PARSE($ 200), $ 201),
($ 202, JSON_PARSE($ 203), $ 204),
($ 205, JSON_PARSE($ 206), $ 207),
($ 208, JSON_PARSE($ 209), $ 210),
($ 211, JSON_PARSE($ 212), $ 213),
($ 214, JSON_PARSE($ 215), $ 216),
($ 217, JSON_PARSE($ 218), $ 219),
($ 220, JSON_PARSE($ 221), $ 222),
($ 223, JSON_PARSE($ 224), $ 225),
($ 226, JSON_PARSE($ 227), $ 228),
($ 229, JSON_PARSE($ 230), $ 231),
($ 232, JSON_PARSE($ 233), $ 234),
($ 235, JSON_PARSE($ 236), $ 237),
($ 238, JSON_PARSE($ 239), $ 240),
($ 241, JSON_PARSE($ 242), $ 243),
($ 244, JSON_PARSE($ 245), $ 246),
($ 247, JSON_PARSE($ 248), $ 249),
($ 250, JSON_PARSE($ 251), $ 252),
($ 253, JSON_PARSE($ 254), $ 255),
($ 256, JSON_PARSE($ 257), $ 258),
($ 259, JSON_PARSE($ 260), $ 261),
($ 262, JSON_PARSE($ 263), $ 264),
($ 265, JSON_PARSE($ 266), $ 267),
($ 268, JSON_PARSE($ 269), $ 270),
($ 271, JSON_PARSE($ 272), $ 273),
($ 274, JSON_PARSE($ 275), $ 276),
($ 277, JSON_PARSE($ 278), $ 279),
($ 280, JSON_PARSE($ 281), $ 282),
($ 283, JSON_PARSE($ 284), $ 285),
($ 286, JSON_PARSE($ 287), $ 288),
($ 289, JSON_PARSE($ 290), $ 291),
($ 292, JSON_PARSE($ 293), $ 294),
($ 295, JSON_PARSE($ 296), $ 297),
($ 298, JSON_PARSE($ 299), $ 300),
($ 301, JSON_PARSE($ 302), $ 303),
($ 304, JSON_PARSE($ 305), $ 306),
($ 307, JSON_PARSE($ 308), $ 309),
($ 310, JSON_PARSE($ 311), $ 312),
($ 313, JSON_PARSE($ 314), $ 315),
($ 316, JSON_PARSE($ 317), $ 318),
($ 319, JSON_PARSE($ 320), $ 321),
($ 322, JSON_PARSE($ 323), $ 324),
($ 325, JSON_PARSE($ 326), $ 327),
($ 328, JSON_PARSE($ 329), $ 330),
($ 331, JSON_PARSE($ 332), $ 333),
($ 334, JSON_PARSE($ 335), $ 336),
($ 337, JSON_PARSE($ 338), $ 339),
($ 340, JSON_PARSE($ 341), $ 342),
($ 343, JSON_PARSE($ 344), $ 345),
($ 346, JSON_PARSE($ 347), $ 348),
($ 349, JSON_PARSE($ 350), $ 351),
($ 352, JSON_PARSE($ 353), $ 354),
($ 355, JSON_PARSE($ 356), $ 357),
($ 358, JSON_PARSE($ 359), $ 360),
($ 361, JSON_PARSE($ 362), $ 363),
($ 364, JSON_PARSE($ 365), $ 366),
($ 367, JSON_PARSE($ 368), $ 369),
($ 370, JSON_PARSE($ 371), $ 372),
(
$ 373,
JSON_PARSE($ 374),
$
What is the best practice for using Redshift as a destination?
attached the logs
and a screenshot of Redshift cost